cm+cdh搭建大数据集群的方法
本篇内容主要讲解“cm+cdh搭建大数据集群的方法”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“cm+cdh搭建大数据集群的方法”吧!
目前创新互联已为上千余家的企业提供了网站建设、域名、虚拟空间、网站改版维护、企业网站设计、昌邑网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
第一部分：搭建基本环境
1、网络配置
vim /etc/sysconfig/network-scripts/ifcfg-ens32
service network restart
vim /etc/hosts
192.168.15.121 node1
192.168.15.122 node2
192.168.15.123 node3
2、SSH免密钥登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
cd ~/.ssh
scp ./authorized_keys node2:`pwd`
scp ./authorized_keys node3:`pwd`
3、防火墙关闭
systemctl stop firewalld.service
systemctl disable firewalld.service
4、SELINUX关闭
setenforce 0
vim /etc/selinux/config (SELINUX=disabled)
5、安装JDK配置环境变量
mkdir /usr/java
官网下载jdk的rpm文件，并上传到/usr/java目录下（如：/usr/java/jdk-8u221-linux-x64.rpm）
scp ./jdk-8u221-linux-x64.rpm node2:`pwd`
scp ./jdk-8u221-linux-x64.rpm node3:`pwd`
rpm -ivh jdk-8u221-linux-x64.rpm
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
java -version
6、安装NTP 设置开机启动（如果时间相同就可以不同步时间，可以绕过这个步骤）
chkconfig ntpd on 设置时间同步 ntpdate 202.120.2.101
7、安装配置
yum install -y MySQL-server
systemctl start mysqld.service #启动 mysql
systemctl restart mysqld.service #重启 mysql
systemctl stop mysqld.service #停止 mysql
systemctl enable mysqld.service #设置 mysql 开机启动
mysql
use mysql
delete from user
update user set Password=password("admin") where User='root';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION;
flush privileges
8、下载第三方依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
第二部分：搭建cm+cdh
1、ClouderaManager安装
1.1、安装Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar -zxf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/
1.2、配置CM Agent
修改文件vim /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini中server_host为node1
1.3、创建用户cloudera-scm
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
1.4、配置CM Server数据库(node1)
mkdir /usr/share/java/
拷贝mysql jar文件到目录 /usr/share/java/
注意jar包名称要修改为mysql-connector-java.jar
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.16.1/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
1.5、创建Parcel目录
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
1.6、制作CDH本地源
下载好文件CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。
打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。
1.7、启动CM Server、Agent
cd /opt/cloudera-manager/cm-5.16.1/etc/init.d/
./cloudera-scm-server start Sever
首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
查看启动是否完成
cd /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server
tail -f cloudera-scm-server.log
启动完成后
访问:http://note1的ip:7180
默认用户名与密码：admin/admin
则安装成功了
到此，相信大家对“cm+cdh搭建大数据集群的方法”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
本文标题：cm+cdh搭建大数据集群的方法
本文路径：http://shouzuofang.com/article/gjehec.html