【Flume教程四】Flume根据事件输出到不同的hdfs目录

【Flume教程四】Flume根据事件输出到不同的hdfs目录

【Flume教程四】Flume根据事件输出到不同的hdfs目录

记录一下flume to hdfs 所依赖的jar包 和 根据不同事件输出到不同的hdfs目录的过程。转载请注明:https://cpp.la/523.html,转载请注明:https://cpp.la/523.html,转载请注明:https://cpp.la/523.html

一、Flume to HDFS依赖

HDFS配置依赖

然后Flume写入HDFS配置文件就可以直接使用HDFS上的PATH路径了。例如:/flume_dd/

HDFS JAR包依赖

二、Flume根据事件输出到不同的hdfs目录

需要正则过滤器提取不同【事件变量】的具体值,然后添加到header里面。然后即可配置使用该【事件变量】。

被采集事件数据一:弹幕埋点,dd-barrage

被采集事件数据二:礼物埋点,dd-barrage

消费Kafka的Flume提取event变量

写入HDFS的Flume使用event变量

三、具体效果

Flume to HDFS with HA配置参考以下Refer:

【Flume教程二】Flume采集到落地高可用HA配置(Flume to Kafka to HDFS)

转载请注明:https://cpp.la/523.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注