博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
flume source channel sink
阅读量:7185 次
发布时间:2019-06-29

本文共 1233 字,大约阅读时间需要 4 分钟。

  hot3.png

flume的source channel sink官网文档很丰富,有什么配置项不清晰直接参考官网文档。文档里面的粗体项是指必须配置的项。参考:

source

1.Spooling Directory Source.监控某个目录的source。监控到的文件会重命名成.COMPLETED,监控目录中如果有文件不是COMPLETED结尾的,source都会采集,包括监控目录历史的数据。重命名的后缀是可配置的。启动flume agent进程的用户要对监控的文件夹有读写权限,否则会报错,监控不了。但是里面的文件只需要有读的权限就可以了。

sink

1.HDFS Sink.将channel中的数据输出到hdfs目录,主意属性hdfs.fileType,如果没有配置输出的数据是乱码的,要改成DataStream,我们看起来才不会乱码。参考:

 

一个source对应多个channel,sink的情形,一个channel只能发送到一个sink中,参考:

配置案例如下:

stbagent.sources  = stbs1

stbagent.channels = stbc1 stbc2
stbagent.sinks  = stbk1 kafkasink
# sources
stbagent.sources.stbs1.type = spooldir
stbagent.sources.stbs1.spoolDir = /tmp/flume-monitor-dir
stbagent.sources.stbs1.channels = stbc1 stbc2
# channels
stbagent.channels.stbc1.type = memory

stbagent.channels.stbc2.type = memory

# sinks
stbagent.sinks.stbk1.type = hdfs
stbagent.sinks.stbk1.hdfs.path = /tmp/flume-monitor-dir
stbagent.sinks.stbk1.hdfs.fileType = DataStream
stbagent.sinks.stbk1.channel = stbc1

stbagent.sinks.kafkasink.type = org.apache.flume.sink.kafka.KafkaSink

stbagent.sinks.kafkasink.brokerList = 192.168.1.11:9092,192.168.1.12:9092,192.168.1.13:9092
stbagent.sinks.kafkasink.topic = flume-topic
stbagent.sinks.kafkasink.channel = stbc2

转载于:https://my.oschina.net/cjun/blog/727807

你可能感兴趣的文章
环境变量的4种配置方法
查看>>
跨域访问机制和应用程序域
查看>>
Linux
查看>>
我的友情链接
查看>>
linux 文件归档
查看>>
成为Linux大神计划书
查看>>
jmeter压测网站
查看>>
Windows Server 2012正式版RDS系列⑿
查看>>
aix iostat and vmstat
查看>>
网络工具 Netcat 之端口扫描
查看>>
参观迅达云成公司观后感
查看>>
如何在一台服务器上实现多个Web站点
查看>>
ubantu16.04安装配置samba服务(原创)
查看>>
DB2数据库代码页和实例代码页的区别(解决DB2乱码问题)
查看>>
结合超声计数炎症关节的改良版DAS28的临床应用
查看>>
如何用BarTender 2016字处理器完成表格设计
查看>>
JSON数据格式
查看>>
页面引入(include)方式的研究及性能比较
查看>>
文件操作
查看>>
前端模板基础-1
查看>>