Flumefanout(扇出)详解
在flume中有时候需要将⼀个源(source)将数据发送到多个地⽅(sink),在flume中该术语叫做扇出(fan out),也就是从⼀个source向多个channel,就是向多个sink传递事件。下⾯就展⽰⼀个将同⼀事件传递到HDFS和logger。
agent1.sources = source1
agent1.sinks = sink1a sink1b
agent1.channels = channel1a channel1b
agent1.sources.source1.channels = channel1a channel1b
agent1.sinks.sink1a.channel = channel1a
agent1.sinks.sink1b.channel = channel1b
agent1.pe = spooldir
agent1.sources.source1.spoolDir = /tmp/spooldir
agent1.pe = hdfs
agent1.sinks.sink1a.hdfs.path = /tmp/flume
agent1.sinks.sink1a.hdfs.filePrefix = events
agent1.sinks.sink1a.hdfs.fileSuffix = .log
agent1.sinks.sink1a.hdfs.inUPerfix = _
炊具品牌agent1.sinks.sink1a.hdfs.fileType = DataStream
加入的拼音
agent1.pe = logger
婴儿为什么老吐奶
agent1.pe = file
成人性色agent1.pe = memory
与⼀对⼀不同的是将agent1.sources.source1.channels属性设置为⼀个由channel1a和channel1b组成的空格分割列表,使得该配置为向多个channel传递事件。channel1b设置为memory意思是调试所⽤,并不需要当flume丢失数据重启再次打印在控制台上。
启动改agent
wps插件flume-ng agent -c conf -f -n agent1 -logger=DEBUG,console
怎么知道自己的五行属性在/tmp/spooldir上新建⼀个⽂件
[root@master spooldir]# echo "I Love strom" > /tmp/spooldir/.项目建设流程
[root@master spooldir]# mv /tmp/spooldir/. /tmp/
、
在控制台上
鸭子烧什么好吃
现在控制台上显⽰⽂件的内容,然后将⽂件内容写⼊HDFS,在HDFS中查看该⽂件内容: