CDH6.3.2的安装注意事项
文章目录
- CDH建设
-
前期条件（需注意事项）
- 硬件配置需求（独立服务器环境）
- 软件开发环境配置需求（java相关设置）
-
重点提醒：请确保以下几点
-
3、数据库相关配置
-
4、其他注意事项
-
END
-
-
CDH搭建
前期要求(都是坑)
多看官网，官网上有详细介绍配置要求
The detailed documentation for enterprise-grade applications on the Cloudera platform is available at https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html.
自己尝试过重要的点：
CDH6.3.2版本的搭建，对java版本、数据库版本、虚拟机(服务器)配置等都有影响
1、硬件要求(自己的本地物理机)
三台虚拟机（lion、tiger、fish），其中lion是server机，三台都装上了agent
lion为每台机器分配了3GB的内存空间, 而其他两只机器则各自获得了2GB的内存配置. 经过测试发现, 在配置过程中三台服务器同时达到了满负荷状态. 优化内存配置方案对于提升整体系统性能至关重要
lion被配置为了拥有30GB的存储容量。 tiger和fish都各自设置了20GB的存储容量。 在部署了Hadoop Distributed File System (HDFS)、Zookeeper (ZK)以及Yarn之后，剩余的存储容量仍然充足。 然而，在预期将引入大量其他服务的情况下，则建议最好尽可能提供更大的存储容量。
lion被配置为了拥有30GB的存储容量。 tiger和fish都各自设置了20GB的存储容量。 在部署了Hadoop Distributed File System (HDFS)、Zookeeper (ZK)以及Yarn之后, 剩余的存储容量仍然充足. 然而, 在预期将引入大量其他服务的情况下, 则建议最好尽可能提供更大的存储容量.
最好将Java堆分配和JVM配置设置得更高。如果不这样做，在运行某些特定的任务时会因为JVM内存不足而无法正常处理该任务，并最终导致该步骤停止执行。
总之，搞CDH还是对硬件要求比较高，有能力还是上服务器比较好
2、java相关要求
- 对于CDH6.3.x，均不支持jdk1.7，需要安装1.8版本以上的jdk
- Java虚拟机（VM），应区分为开放 JDK 和 Oracle JDK。
- 对于 Oracle JDK 应尽量推荐使用 1.8u181 版本。
- 对于openjdk，可以根据下图安装
重要！👇👇
Java最好安装在/usr/java/下，java文件夹使用mkdir /usr/java自行安装
如果未将项目安装至该目录会导致在CDH部署过程中报错（提示缺少java环境），为此建议运行以下命令以解决问题，并创建一个软链接以绕过路径限制。
ln -s [你的java安装目录] /usr/java/通过编辑/等同于启动vim并访问其默认路径下的/etc/profile文件来设置开发环境。为了实现这一目标，请按照以下步骤操作：首先在终端中输入"vim /etc/profile"；随后，在该文件中添加与Java开发相关的配置内容；最后，请务必在每次修改后运行"source /etc/profile"命令以确保配置的一致性和正确性。
3、数据库相关配置
- 自己使用的MySQL，版本选择5.7版本，不要用8.0版本
当然在安装MySQL之前，需要先把原本的mariaDB删除
先用查询语句查询出你的安装包名
rpm -qa|grep maria*使用下面语句进行删除
rpm -e --nodeps [你的maria安装包名称]对所有自定义数据库应用UTF8编码。MySQL和MariaDB必须采用MySQLutf8编码方案而非utf8mb4编码方式。
在使用MySQL 5.7时，建议配置必要的软件组件以满足功能需求。这些组件包括MySQL-shared-compat或MySQL-shared中的一个选项。它们是Cloudera Manager Agent正常运行的基础。
在官网中还有更多对其他数据库的参数配置要求。
4、其他注意事项
以下操作在所有主机上都需要进行
在开始安装前，需要保证
(非必须)使用yum install vim安装vim，不安装的话使用vi命令也可
首先对网络设备进行配置设置，并确保所有主机之间能够互相ping通信。使用vim /etc/sysconfig/network-scripts/ifcfg-ens33这个命令进行网络配置修改，请务必确保相关参数设置无误。
首先对网络设备进行配置设置，并确保所有主机之间能够互相ping通信。使用vim /etc/sysconfig/network-scripts/ifcfg-ens33这个命令进行网络配置修改，请务必确保相关参数设置无误。
* BOOTPROTO=static
* ONBOOT=yes为了将hostname变量更改为自定义名称，请运行以下命令： vim /etc/hostname 使hostname变为你的自选名称。请注意，在此例中采用的是 lion（易于记忆）。
使用vim /etc/hosts进行主机名和ip配置，在文件中添加如下的内容:
[主机1的ip地址] [配置好的主机1名]
[主机2的ip地址] [配置好的主机2名]
[主机3的ip地址] [配置好的主机3名]
...这些多台设备均已成功配置了免密登录的SSH机制。通过命令行工具运行 ssh-keygen -t rsa 来生成公私钥对；然后利用提供的公钥信息通过 ssh-copy-id [免密登录主机名] 将SSH权限自动分配给其他相关设备。
在安装cloudera-scm-agent之前，需要先安装一些前置脚本
yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt