一、Flume使用-创新互联

一、部署 1.下载安装包

http://archive.apache.org/dist/flume/

为承德县等地区用户提供了全套网页设计制作服务，及承德县网站建设行业解决方案。主营业务为网站设计制作、网站设计、承德县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！2.创建目录

mkdir -r /home/sxvbd/bigdata

3.上传flume包到目录下

apache-flume-1.9.0-bin.tar.gz

4.解压并修改名称

tar -zxvf apache-flume-1.9.0-bin.tar.gz

5.在/etc/profile中配置flume路径

export FLUME_HOME="/home/sxvbd/bigdata/flume-1.9.0"
export PATH=$PATH:$FLUME_HOME/bin
export CLASSPATH=.:$FLUME_HOME/lib

6.使配置生效

source /etc/profile

7.进入flume配置文件目录

cd /home/sxvbd/bigdata/flume-1.9.0/conf

8.修改配置文件名称

cp flume-conf.properties.template flume-conf.properties
cp flume-env.sh.template flume-env.sh

9.修改配置flume-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_333

10.创建需要采集的测试文件目录

mkdir -r /home/sxvbd/bigdata/flumeTestDir

11.修改配置文件flume-conf.properties

agent.sources = source1
agent.channels = channel1
agent.sinks = sink1

#For each one of the sources, the type is defined
#监控一个目录的，如果目录中出现了新的文件，就把文件内容采集过来
agent.sources.source1.type = spooldir 
agent.sources.source1.bind = 0.0.0.0
agent.sources.source1.port = 44444
agent.sources.source1.spoolDir = /home/sxvbd/bigdata/flumeTestDir/

agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000000
agent.channels.channel1.transactionCapacity = 10000
agent.channels.channel1.keep-alive = 60

#Each channel's type is defined.
#配置kafka的集群和topic
agent.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.sink1.kafka.bootstrap.servers = node24:9092,node25:9092,node26:9092
agent.sinks.sink1.kafka.topic = data-ncm-hljk-topic
agent.sinks.sink1.parseAsFlumeEvent = false

agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1

12.启动flume

nohup ../bin/flume-ng agent --conf conf -f /home/sxvbd/bigdata/flume-1.9.0/conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console >flume.log 2>&1 &

13.在/home/sxvbd/bigdata/flumeTestDir目录中上传文件，在kafka中可以消费到数据

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

本文标题：一、Flume使用-创新互联
网站链接：http://shouzuofang.com/article/pjhjh.html