hadoop2.7+Spark1.4环境如何搭建
这篇文章主要为大家展示了“hadoop2.7+Spark1.4环境如何搭建”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop2.7+Spark1.4环境如何搭建”这篇文章吧。
创新互联提供高防服务器租用、云服务器、香港服务器、成都IDC机房托管等
一、hadoop伪分布式搭建
其实官网有比较详实的说明，英语好的可以直接看官网，地址
1、安装JDK1.7
这个省略，官网显示1.6可以，但是我用openjdk1.6出了异常，JDK1.6没试，直接用了JDK1.7
配置好环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_79 export CLASSPATH=.:$JAVE_HOME/lib.tools.jar export PATH=$PATH:$JAVA_HOME/bin
添加完后执行命令使配置生效
source /etc/profile
2、安装ssh、rsync,（以ubuntu为例）
$ sudo apt-get install ssh $ sudo apt-get install rsync
3、下载hadoop编译包，镜像地址（国内镜像竟然比US的还慢，不能忍，注意2.7的编译包为64位）
查是32还是64位的办法
cd hadoop-2.7.0/lib/native file libhadoop.so.1.0.0
hadoop-2.7.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, AMD x86-64, version 1 (SYSV), not stripped
4、配置环境变量
hadoop配置文件指定java路径
etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_79
系统环境变量
export HADOOP_HOME=/usr/local/hadoop-2.7.0 export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
后两条不加会出现
You have loaded library /usr/hadoop/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c
添加完后执行命令使配置生效
source /etc/profile
执行命令查看是否成功
hadoop version
5、修改hadoop配置文件
etc/hadoop/core-site.xml:
fs.defaultFS hdfs://localhost:9000
etc/hadoop/hdfs-site.xml:
dfs.replication 1
6、设置hadoop ssh无密码访问
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ export HADOOP\_PREFIX=/usr/local/hadoop-2.7.0
7、格式化节点和启动hadoop
$ bin/hdfs namenode -format $ sbin/start-dfs.sh
打开浏览器 http://localhost:50070/看是否成功
hdfs配置：username最好和当前用户名相同，不然会可能出现权限问题
$ bin/hdfs dfs -mkdir /user $ bin/hdfs dfs -mkdir /user/
8、yarn配置
etc/hadoop/mapred-site.xml:
mapreduce.framework.name yarn
etc/hadoop/yarn-site.xml:
yarn.nodemanager.aux-services mapreduce_shuffle
启动yarn
$ sbin/start-yarn.sh
http://localhost:8088/查看是否成功
至此hadoop单节点伪分布式安装配置完成
二、spark安装配置
spark的安装相对就要简单多了
1、首先下载，地址
因为我之前已经有hadoop了所以选择第二个下载
2、下载解压后进入目录
cd conf cp spark-env.sh.template spark-env.sh cp spark-defaults.conf.template spark-defaults.conf vi conf/spark-env.sh
最后添加
export HADOOP_HOME=/usr/local/hadoop-2.7.0 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_DIST_CLASSPATH=$(hadoop classpath)
最后一个需要hadoop添加了环境变量才行。
官网配置中没有前两个配置，我运行例子时总报错，找不到hdfs jar 包。
3、回到解压目录运行示例
./bin/run-example SparkPi 10
成功则到此配置完成
以上是“hadoop2.7+Spark1.4环境如何搭建”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
网站名称：hadoop2.7+Spark1.4环境如何搭建
本文URL：http://shouzuofang.com/article/pogioo.html