Flumefanout(扇出)详解

更新时间:2023-07-15 10:44:52 阅读: 评论:0

Flumefanout(扇出)详解
在flume中有时候需要将⼀个源(source)将数据发送到多个地⽅(sink),在flume中该术语叫做扇出(fan out),也就是从⼀个source向多个channel,就是向多个sink传递事件。下⾯就展⽰⼀个将同⼀事件传递到HDFS和logger。
agent1.sources = source1
agent1.sinks = sink1a sink1b
agent1.channels = channel1a channel1b
agent1.sources.source1.channels = channel1a channel1b
agent1.sinks.sink1a.channel = channel1a
agent1.sinks.sink1b.channel = channel1b
agent1.pe = spooldir
agent1.sources.source1.spoolDir = /tmp/spooldir
agent1.pe = hdfs
agent1.sinks.sink1a.hdfs.path = /tmp/flume
agent1.sinks.sink1a.hdfs.filePrefix = events
agent1.sinks.sink1a.hdfs.fileSuffix = .log
agent1.sinks.sink1a.hdfs.inUPerfix = _
炊具品牌agent1.sinks.sink1a.hdfs.fileType = DataStream
加入的拼音
agent1.pe = logger
婴儿为什么老吐奶
agent1.pe = file
成人性色agent1.pe = memory
与⼀对⼀不同的是将agent1.sources.source1.channels属性设置为⼀个由channel1a和channel1b组成的空格分割列表,使得该配置为向多个channel传递事件。channel1b设置为memory意思是调试所⽤,并不需要当flume丢失数据重启再次打印在控制台上。
启动改agent
wps插件flume-ng agent -c conf -f -n agent1 -logger=DEBUG,console
怎么知道自己的五行属性在/tmp/spooldir上新建⼀个⽂件
[root@master spooldir]# echo "I Love strom" > /tmp/spooldir/.项目建设流程
[root@master spooldir]# mv /tmp/spooldir/. /tmp/
在控制台上
鸭子烧什么好吃
现在控制台上显⽰⽂件的内容,然后将⽂件内容写⼊HDFS,在HDFS中查看该⽂件内容:

本文发布于:2023-07-15 10:44:52,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/82/1097828.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:设置   列表   传递   事件   重启   打印
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图