|
今天来分享下hadoop的全分布式环境搭建。
$ ~! ]8 C1 c! AHadoop的全分布式的搭建基于伪分布式的基础上进行搭建，所以，在这里有一个要求就是必须先把hadoop的伪分布式环境搭建成功！（如果同学能力强，可以直接搭全分布式集群哦！）
7 P5 X- @8 \, E! U/ u8 e$ b, t$ h1 f7 |这里介绍hadoop的全分布式集群主要有两种方式搭建：
5 O* o# R7 a; ?( V$ o一、修改完配置文件再进行节点克隆3 F" r$ c2 k9 N8 h, @: _! S
具体步骤如下： 第一步：修改映射文件，编辑 /etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名 192.168.100.110 master[这是做伪分布式时配置好的] 192.168.100.111 slave01 192.168.100.112 slave02 192.168.100.113 slave03 第二步：进入hadoopd 的安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名 slave01 slave02 slave03 第三步：修改hdfs-site.xml文件，将副本数改为3份 第四步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。 第五步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules 第六步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成 第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机 第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机 第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机 第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)] 第十一步：初始化整个集群：hadoop namenode -format 第十二步：启动集群start-all.sh 集群启动好之后 主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager 第十三步：web页面访问 - d7 u y$ z* u0 O8 {' {
二、克隆之后再修改配置文件5 k+ ?1 o+ v* n* n
第一步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成[克隆出三个从节点之后，就可以修改配置文件了] 第二步：修改映射文件，编辑 etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名 192.168.100.110 master[这是做伪分布式时配置好的] 192.168.100.111 slave01 192.168.100.112 slave02 192.168.100.113 slave03 第三步：进入hadoopd安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名 slave01 slave02 slave03 第四步：修改hdfs-site.xml文件，将副本数改为3份 第五步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。 第六步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules 第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机 第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机 第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机 第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)] 第十一步：初始化整个集群：hadoop namenode -format 第十二步：启动集群start-all.sh 集群启动好之后 主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager 第十三步：web页面访问 & {+ j& @/ Y; K" R6 Q
| 
所有IT类厂商认证考试题库下载
【新盟教育】2023最新华为HCIA全套视频合集【网工基础全覆盖】---国sir公开课合集
【新盟教育】网工小白必看的！2023最新版华为认证HCIA Datacom零基础全套实战课
原创_超融合自动化运维工具cvTools
重量级~~30多套JAVA就业班全套 视频教程（请尽快下载，链接失效后不补）
链接已失效【超过几百G】EVE 国内和国外镜像 全有了 百度群分享
某linux大佬，积累多年的电子书(约300本)
乾颐堂现任明教教主Python完整版
乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频（各种最新技术杂谈视频）
Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天
约21套Python视频合集 核心基础视频教程（共310G,已压缩）
最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程
最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器
