2.5 CDH版本Hadoop集群搭建_Hadoop + Spark生态系统操作与实战指南-QQ阅读男生轻小说网

书名：Hadoop + Spark生态系统操作与实战指南
作者名：余辉
本章字数：1273字
更新时间：2021-03-12 19:20:35

2.5 CDH版本Hadoop集群搭建

2.5.1 安装前期准备

本节中操作的是CDH5.10.0版本。下文安装步骤是曾经安装成功的，之后升级到CDH 5.10.0版本，安装步骤是一样的。

本节中安装的是CDH5.1.3版本，安装之前默认读者已经完成了Linux系统的设置。CDH对硬件的要求是每台服务器内存不低于10GB，所以安装CDH版本的主机不能是虚拟机。本节有任何安装问题可以参考作者博文：

• CDH安装和维护

http://blog.csdn.net/silentwolfyh/article/details/54893826

• CDH问题及维护汇总

http://blog.csdn.net/silentwolfyh/article/details/54893826

1．下载CDH的Hadoop版本软件

下载地址：

http://archive.cloudera.com/cdh5/parcels/5.10.0/

需要下载操作系统对应的版本，如图2-31所示。也可以从【百度云盘】中下载。

图2-31 CDH版本

• CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel

• CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha1

• manifest.json

2．安装必备软件

    yum -y install psmisc
    yum -y install libxslt
    yum -y install screen
    yum -y install telnet

3．安装MySQL

登录Master机器，若可以联网，执行命令：

    yum install mysql-server

添加为自启动：

    chkconfig mysqld on

启动MySQL：

    service mysqld start
    mysqladmin -u root password '123456'

进入mySQL：

    mysql -uroot -p123456

执行下面四句SQL语句：

    create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database ooz DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    create database hue default charset utf8 collate utf8_general_ci;

执行授权语句：

    grant all privileges on *.* to 'root'@'%' identified by '123456' with
    grant option;
@@@
    flush privileges;

2.5.2 Cloudera Manager安装

1．创建cloudera-scm用户

登录集群所有机器，执行命令，创建Cloudera SCM用户：

    useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-
    create-home --shell=/bin/false --comment "Cloudera SCM User"
    cloudera-scm

2．安装Cloudera Manager

登录Master机器，将cloudera-manager-el6-cm5.1.3_x86_64.tar.gz文件解压至/opt下，产生2个文件夹cloudera和cm-5.1.3。

3．添加MySQL Connector包

登录Master机器，将mysql-connector-java-5.1.34-bin.jar文件复制至目录/opt/cm-5.1.3/share/ cmf/lib/。

4．初始化CM5的数据库

登录Master机器，执行命令：

    /opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -
    hlocalhost -uroot -p123456--scm-host localhost scm scm

5．修改Agent配置

登录Master机器，执行命令：

    vi /opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini

将server_host的值改成Master机器的名称同步Agent到其他节点。

登录Master机器，执行命令：

    scp -r /opt/cm-5.1.3 root@slave[1-xx]:/opt/

6．准备Parcels

登录Master机器，将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel、CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1和Manifest.json三个文件复制至/opt/cloudera/parcel-repo/文件夹下。

并将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.parcel.sha1重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.parcel.sha。

7．启动Cloudera Manager

启动Cloudera Manager后等待1~3分钟，然后访问http://主节点IP:7180，若可以访问则表示安装成功。

登录Master机器，执行命令：

    /opt/cm-5.1.3/etc/init.d/cloudera-scm-server start

登录集群所有机器，执行命令：

    /opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start

2.5.3 CDH安装

1．第一步登录

如图2-32所示为登录界面，用户名、密码皆设为admin。

图2-32

2．第二步选择部署版本

如图2-33、图2-34所示为选择部署版本。

图2-33 选择部署版本一

图2-34 选择部署版本二

3．第三步安装指定的主机

如图2-35所示，勾选上需要安装的主机。

图2-35 安装指定的主机

4．第四步集群版本选择

如图2-36所示，可以看到所下载并安装的CDH版本表示前面部署成功，否则需要在线下载。

图2-36 集群版本选择

5．第五步分发CDH指定版本

前面配置无误则无须下载，否则表示前面配置有误。分发可能需要一段时间，视集群大小而定（此时集群一定要保证Master可以免密码登录到其他机器上），如图2-37、图2-38所示。

图2-37 分发CDH指定版本一

图2-38 分发CDH指定版本二

6．第六步检查集群的状况

如图2-39所示，可根据提示信息修改配置并重新检查。

图2-39 检查集群的状况

7．第七步选择需要安装的组件

选择需要安装的组件，可自定义安装，如图2-40所示。

图2-40 选择需要安装的组件

8．第八步给集群各个节点分配角色

目前所知道需要注意的地方是HBase Thrift Server不要为空，否则Hue无法访问HBase。主要看Hive的角色，如图2-41所示。

图2-41 给集群各个节点分配角色

9．第九步设置MySQL连接

如图2-42所示。注意：这里很容易报错，都是表权限、名称、密码的错误。

图2-42 设置MySQL连接

10．第十步完成集群设置

后面的一路“继续”下去即可。安装所需时间较长，请耐心等待。设置过程如图2-43~图2-46所示。

图2-43 完成集群设置一

图2-44 完成集群设置二

图2-45 完成集群设置三

图2-46 完成集群设置四

11. CDH5.10.0主界面

CDH5.10.0主界面如图2-47所示。

图2-47 CDH5.10.0主界面