如何搭建Hadoop生态SparkStreaming平台
本篇内容介绍了“如何搭建Hadoop生态SparkStreaming平台”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
目前创新互联已为上千的企业提供了网站建设、域名、网站空间、网站托管、企业网站设计、宜黄网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
操作系统：Centos7
用到的框架：
Flume1.8.0
Hadoop2.9.0
kafka2.11-1.0.0
Spark2.2.1
HBase1.2.6
ZooKeeper3.4.11
maven3.5.2
整体的开发环境是基于JDK1.8以上以及Scala，所以得提前把java和Scala的环境给准备好，接下来就开始着手搭建基础平台：
一、配置开发环境
下载并解压JDK1.8,、下载并解压Scala，配置profile文件：
二、配置zookeeper、maven环境
下载并解压zookeeper以及maven并配置profile文件
然后配置一下zoo.cfg里面的相关配置，指定一下dataDir目录等等
启动zookeeper:
/usr/local/zookeeper-3.4.11/bin/zkServer.sh start
如果不报错，jps看一下是否启动成功
三、安装配置Hadoop
Hadoop的安装配置在之前文章中有说过(传送门)，为了下面的步骤方便理解，这里只做一个单机版的简单配置说明：
下载hadoop解压并配置环境：
首先配置hadoop-env.sh、yarn-env.sh，修改JAVA_HOME到指定的JDK安装目录/usr/local/java/jdk1.8.0_144
创建hadoop的工作目录
mkdir /opt/data/hadoop
编辑core-site.xml、hdfs-site.xml、yarn-site.xml等相关配置文件，具体配置不再阐述请看前面的文章，配置完成之后记得执行hadoop namenode -format，否则hdfs启动会报错，启动完成后不出问题浏览器访问50070端口会看到hadoop的页面。
四、安装配置kafka
还是一样，先下载kafka，然后配置：
进入kafka的config目录，配置server.properties,指定log.dirs和zookeeper.connect参数;配置zookeeper.properties文件中zookeeper的dataDir，配置完成后启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
可以用jps查看有没有kafka进程，然后测试一下kafka是否能够正常收发消息，开两个终端，一个用来做producer发消息一个用来做consumer收消息，首先，先创建一个topic
然后在第一个终端中输入命令：
kafka-console-producer.sh –broker-list localhost:9092 –topic testTopic
在第二个终端中输入命令：
kafka-console-consumer.sh –zookeeper 127.0.0.1:2181 –topic testTopic
如果启动都正常，那么这两个终端将进入阻塞监听状态，在第一个终端中输入任何消息第二个终端都将会接收到。
五、安装配置HBase
下载并解压HBase：
修改hbase下的配置文件,首先修改hbase-env.sh，主要修改JAVA_HOME以及相关参数，这里要说明一下HBASE_MANAGES_ZK这个参数，因为采用了自己的zookeeper，所以这里设置为false，否则hbase会自己启动一个zookeeper
然后修改hbase-site.xml，我们设置hbase的文件放在hdfs中，所以要设置hdfs地址，其中tsk1是我安装hadoop的机器的hostname，hbase.zookeeper.quorum参数是安装zookeeper的地址，这里的各种地址最好用机器名
配置完成后启动hbase，输入命令：
start-hbase.sh
完成后查看日志没有报错的话测试一下hbase，用hbase shell进行测试：
至此，hbase搭建成功，访问以下hadoop的页面，查看file system(菜单栏Utilities->Browse the file system)，这时可以看见base的相关文件已经载hadoop的文件系统中。
六、安装spark
下载spark并解压
七、测试
至此，环境基本搭建完成，以上搭建的环境仅是服务器生产环境的一部分，涉及服务器信息、具体调优信息以及集群的搭建就不写在这里了，下面我们写一段代码整体测试一下从kafka生产消息到spark streaming接收到，然后处理消息并写入HBase。先写一个HBase的连接类HBaseHelper:
再写一个测试类KafkaRecHbase用来做spark-submit提交
编译提交到服务器，执行命令：
没报错的话执行kafka的producer，输入几行数据在HBase内就能看到结果了!
八、装一个Flume实时采集Nginx日志写入Kafka
Flume是一个用来日志采集的框架，安装和配置都比较简单，可以支持多个数据源和输出，具体可以参考Flume的文档，写的比较全 传送门
下载Flume并配置环境
写一个Flume的配置文件在flume的conf目录下：
kafka创建一个名为flumeKafka的topic用来接收，然后启动flume：
如果没有报错，Flume将开始采集opt/data/nginxLog/nginxLog.log中产生的日志并实时推送给kafka，再按照上面方法写一个spark streaming的处理类进行相应的处理就好。
“如何搭建Hadoop生态SparkStreaming平台”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！
名称栏目：如何搭建Hadoop生态SparkStreaming平台
网站网址：http://shouzuofang.com/article/picdgs.html