Hadoop集群搭建以及注意事项
一.hadoop的应用
作为大数据技术的集合体,Hadoop是由Java语言开发而成,并支持多种程序设计语言.其应用范围十分广泛,允许开发者通过Java编写WriteHDFS应用程序. WriteHDFS应用程序主要用于将数据存储于分布式文件系统（Distributed File System,HDFS）中.此外,还有如Sqoop这样的数据导入导出工具,它能够实现与传统数据库之间的数据交换
注
二.hodoop集群搭建
请确认所有虚拟机是否能够使用免密登录实现通信连接。对于如何执行免密登录，请查阅相关资料或教程。
使用xftp协议将两个文件包从该机器的安装目录下的特定位置上传至vmmaster虚拟机的/opt/install/hadoop目录。
在vmmaster虚拟机内对hadoop-2.6.0-cdh5.14.2.tar.gz进行解压操作至/opt/bigdata/hadoop路径下。对于解压完成后生成的文件夹，请将其重命名为hadoop260，并相应地更改其权限设置为root。
配置Java Development Kit(JDK)以便进行Hadoop的编译。
配置Hadoop文件系统，也就是hadoop fs的文件系统。
三.
在Centos6.5系统上搭建Hadoop集群之前必须完成基础环境配置这一步骤包括安装所需软件及库文件正确设置主机名与网络架构确保系统内核参数与防火墙设置完全满足Hadoop运行需求
配置Hadoop集群时，在搭建集群之前应调整相关配置文件以达到预期效果。例如，常见做法包括调整'hadoop-env.sh'文件，并通过该脚本可帮助设置必要的环境变量和Java虚拟机参数等。
非在线部署方案：若选择采用非在线部署方案，在进行Hadoop集群搭建之前，请确保已准备好所需的安装软件包以及相关依赖项。例如，在配置阶段通常会涉及对特定压缩工具的支持设置。具体来说，请参考以下步骤：通过执行'yum install -y -enable_readonly_modups zstd'命令完成相应的压缩工具安装。
在搭建Hadoop集群的过程中，需要做好以下三点：一是 Linux环境的配置工作；二是 Hadoop核心组件配置文件的调整；三是 离线部署方案的相关准备工作。做好这三点能够帮助整个Hadoop集群搭建过程更加顺利。
ps:1.Linux环境的配置：①查看全局变量 echo $PATH
②
临时配置
export PATH=$PATH:/usr/local/php/bin 为php环境
export PATH=$PATH:/home/yuqiao/downloads这样关闭shell之后就会失效。
③
- 优化Hadoop的配置参数设置
①创建Hadoop使用到的目录
然后，在本地建立相应的文件夹。
将工作目录设置为：HOME = hadoop/wikicat。
将临时目录设置为：HOME = hadoop/wikicat_tmp；
将名称节点目录设置为：HOME = hadoop/wikicat_namenode；
将数据节点目录设置为：HOME = hadoop/wikicat_datanode。
master@master:/home/hadoop$ su hadoop #切换到hadoop用户
密码：
hadoop@master:~ mkdir hadoop
hadoop@master:~ chmod -R 777 hadoop
hadoop@master:~
hadoop@master:~ cd hadoop
hadoop@master:~/hadoop mkdir tmp
hadoop@master:~/hadoop chmod -R 777 tmp
hadoop@master:~/hadoop
hadoop@master:~/hadoop mkdir namenode
hadoop@master:~/hadoop chmod -R 777 namenode
hadoop@master:~/hadoop
hadoop@master:~/hadoop mkdir datanode
hadoop@master:~/hadoop chmod -R 777 datanode
hadoop@master:~/hadoop$
②修改配置文件
(1)sudo gedit hadoop-env.sh
Select the Java implementation to be used.
export JAVA_HOME=/data/jdk1.8.0_111
(2) Execute the following command to edit the yarn-env.sh file: sudo gedit yarn-env.sh
some Java paramet
三.问题集锦
1.修改名字时权限不够要使用超级管理员权限（会出现以下报红情况）
核心代码：①.su root(超级管理员权限）
②.查找用户名 cat /etc/hostname
③.修改用户名 cat/etc/hostname
2.三台虚拟机遇到连接问题（一直连接不上一直断开）
需要打开断开的那台对应的虚拟机，检查它是否开启