linux中如何搭建hadoop单机模式

这篇文章将为大家详细讲解有关linux中如何搭建hadoop单机模式，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

成都一家集口碑和实力的网站建设服务商，拥有专业的企业建站团队和靠谱的建站技术，10余年企业及个人网站建设经验 ,为成都数千家客户提供网页设计制作,网站开发,企业网站制作建设等服务,包括成都营销型网站建设，品牌网站建设，同时也为不同行业的客户提供成都网站设计、网站制作的服务,包括成都电商型网站制作建设,装修行业网站制作建设，传统机械行业网站建设,传统农业行业网站制作建设。在成都做网站,选网站制作建设服务商就选创新互联公司。

运行环境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虚拟机版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安装步骤

1．安装ubuntu

虚拟机安装ubuntu时安装完一个虚拟机后可选择clone直接复制出来相同的克隆版本省去安装时间

linux中如何搭建hadoop单机模式

安装ubuntu并建立hadoop用户，为后续集群ssh通道做预备，不建议使用root用户进行一系列操作，具体原因百度，root远程可对系统资源进行任意修改，切记，具体shell脚本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目录下新建一个与用户名相同的文件夹
#-g指的是添加用户组
passwd hadoop
#回车后将密码设置成123456 ps:密码限于开发调试，生产环境切勿大意，设立复杂度高密码保障安全

1．安装jvm

下载Java对应版本的tar.gz包如下图所示

linux中如何搭建hadoop单机模式

Ps：centos下下载rpm包可直接使用RPM命令进行安装，ubuntu下建议使用gz包进行安装，笔者尝试安装rpm插件进行rpm安装，把系统搞残了有经验的大神欢迎留言指导，谢过了

在/usr/lib目录下新建jvm目录，将gz包解压到/usr/lib/jvm目录下，并将java-***包重命名为java 重命名命令

Mv java-***** java

打开环境变量预执行文件 gedit /etc/profile

添加这几行环境变量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

输入命令后重启系统或者直接执行source /etc/profile 执行预加载脚本变量

linux中如何搭建hadoop单机模式

输入命令java -version 打印出现如上图所示版本信息，代表jdk安装成功

2．调试hadoop单机运行

进入hadoop脚本环境配置文件

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

linux中如何搭建hadoop单机模式

将JAVA_HOME修改为绝对路径.

Ps:至于为什么默认配置的${JAVA_HOME}不起作用，笔者暂时未找到原因欢迎大神们进行补充

#配置hadoop ssh 无密码登录 --需求背景，由于hadoop集群动辙几十上百台机器进行集群计算

假如进行密钥输入认证会增加许多运维的工作量，所以社区内普遍进行公有密钥进行交换比对登录

进入hadoop用户home目录 /home/hadoop/ 找到 .ssh 目录没有则新建，注意将文件夹所有权修改为hadoop用户所有

安装ssh服务

sudo apt-get install openssh-server
sudo apt-get install openssh-client

尝试输入命令ssh localhost 出现输入密码界面则代表ssh服务端与客户端安装成功

l 配置免密码登录

进入hadoop用户home目录下

cd /home/hadoop

能看见.sshwe文件夹，进入.ssh文件夹

执行一下命令生成ssh免登录的公钥和私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这个命令会在.ssh文件夹下创建id_dsa和id_dsa.pub两个文件，这是SSH的一对私钥和公钥

现在把id_dsa.pub追加到公钥中去，执行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

现在切换到hadoop用户登录，在尝试用ssh进行远程连接

ssh localhost是不是得到以下画面

linux中如何搭建hadoop单机模式

代表免登录配置成功

进入hadoop目录/opt/hadoop/hadoop/

执行./sbin/start-all.sh 脚本启动hadoop

由于是单机运行hadoop，nameNode 和 Jobtracker都没有启动如何查看hadoop是否启动呢？

查看HDFS文件系统

./bin/hadoop fs -ls /

linux中如何搭建hadoop单机模式

出现以上信息，恭喜，代表你单机安装hadoop成功。Hdfs文件结构就是如linux一样

关于“linux中如何搭建hadoop单机模式”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

当前题目：linux中如何搭建hadoop单机模式
标题链接：http://shouzuofang.com/article/pogiop.html

网站建设知识

linux中如何搭建hadoop单机模式

运行环境

安装步骤

1．安装ubuntu

1．安装jvm

2．调试hadoop单机运行

其他资讯