【Flume教程一】Flume采集配置详细教程

【Flume教程一】Flume采集配置详细教程

【Flume教程一】Flume采集配置详细教程

环境:centos 8.0,4H 4G 100GB。软件目录:/opt

一、下载并配置JDK1.8.0_251

下载并解压

配置环境变量 vim /etc/profile

使其生效

source /etc/profile

检查jdk

java -version

二、下载并配置Flume-1.9.0

下载flume1.9

修改jvm的内存大小,生产环境建议8192或者更大。

新建flume配置:监听文件收集到Flume-Collector,文件名tail2flume

新建flume配置:启动Flume-Collector服务并推送到Kafka,文件名flume2kafka

然后再另外一台机器配置组成双机热备即可

  • 机器A:10.10.10.100, agentA + collectorA
  • 机器B:10.10.10.101,agentB + collectorB

启动服务

往文本写数据,查看kafka 是否接收到消息

写入测试消息

查看kafka消息

by:cpp.la

发表评论

邮箱地址不会被公开。 必填项已用*标注