hadoop环境搭建之伪分布集群环境搭建(单节点)

el/2024/6/13 21:47:44

首先,尼玛哥是一名研究生,可以说很多学习的知识都是来源于同门师兄弟,本着将自己学习到的东西以博客的形式分享到网络上,不仅仅可以让自己回顾,也可以帮助需要学习的小伙伴们,供大家一同学习。

首先,hadoop 环境的搭建需要在linux的环境下,那么,现在,咱们需要将linux的基本网络设置已经配置完毕,注意,每一次配置完成,建议要给系统做一个快照,以免不必要的情况发生后,整个系统都崩盘,这时候就后悔莫及了~

废话不多说,开始讲解如何搭建单节点的hadoop 伪分布集群


开始前请大家注意了:linux 的操作系统,默认主机名为localhost,此处尼玛哥一直是以localhost 进行讲解,但是大家在学习安装伪分布单节点的hadoop过程当中,注意修改localhost的名字,不然在最后的集群运行当中会出错,和系统本身的 127.0.0.1  对应的localhost 的IP 产生冲突,导致最后无法实现集群搭建!


首先:hadoop 伪分布环境搭建分为三大步

一 .JDK 安装

二.SSH 配置

三.hadoop 环境配置


以centos 6.5为例来安装,咱们现在安装一个nimi 桌面版本~
         咱们先将linux的网络配置设置好,(linux的安装在我的博客当中可以找到),设置为静态IP ,便于以后添加多个节点使用~
刚刚安装好的linux他的系统IP 并没有配置好,那么,咱们先配置静态IP 


利用 命令#vi  /etc/sysconfig/network-scripts/ifcfg-eth0
进入了vi 编辑界面,咱们需要再根据VMware  Workstation中的设置进行配置静态IP 


根据,上图,咱们知道了,IP 是在192.168.159.2这个网关当中的,那么,接下来,咱们开始配置静态IP ,
输入:x保存并退出。


OK ,静态IP 配置完成了,
                     接下来,咱们利用命令:# service  network restart 使网路服务重新启动
                     用命令 :# ifconfig  查看ip 是否修改完成,并且
                     用命令:# ping www.baidu.com   检查是否已经成功连接上网络。


接下来,基本的网络配置已经完成了,咱们给linux系统来个快照,以便进行接下来的步骤时出现什么错误,哈哈哈,保险要紧~
ok !,咱们最基本的linux设置已经完成了哟~接下来,就是开始环境搭建3大步骤了
第一:JDK安装和环境变量配置
1.检查linux 系统当种的JDK 是否已经安装了
利用命令:# java  -version 



上图显示得是,jdk 已经成功安装了。
2.接下来,咱们看看 centos 的位数
利用命令# file  /bin/ls
 
3.切换至 usr/文件夹当中,创建一个Java/ 目录
利用命令:# cd /
                 # ls 
  # cd usr/
 #mkdir java 
     #cd java/
                #ls

4.上传已经下载到本地的文件   jdk-7u79-linux-x64.tar.gz  (我会上传到我的文件当中,供大家下载)
当然,有时候 rz命令并未安装,这时候,咱们就可以选用yum 命令来安装,介绍下,yum 命令是在连接了网络的情况下使用的。所以之前,咱们配置好了网络设置,现在就起作用了!
利用命令:#yum -y install lrzsz 

好了,rz 安装好了,接下来就是从本地添加文件了
利用命令:#rz 


咱们选中了文件后,就会自动上传到centos 系统当中
检查一下,文件是否已经上传到java目录当中
命令:# ls
 
可以确认,java 当中,已经存在了我们需要的tar.gz文件
5.解压已经上传的压缩文件。
利用命令: # tar  -zxvf   jdk-7u79-linux-x64.tar.gz
检查文件是否已经压缩成功;# ls


6.接下来,咱们开始配置JDK 的环境变量
利用命令:

#cd /etc/profile.d

#ls

在profile.d文件夹通过Vi命令生成一个java.sh 文件

#vi java.sh


在 Java.sh 文件中,咱们需要设置的是这些

JAVA_HOME=/usr/java/jdk1.7.0_79

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

export JAVA_HOME PATH CLASSPATH


wq保存退出

7. 利用命令 #source /etc/profile.d/java.sh 使刚才的配置文件生效


8.利用命令#vi /etc/hosts ,来修改hosts文件,但是需要知道虚拟机配置的静态IP ,前边我们已经配置过,

是 192.168.159.22  locahost (你的主机的名字,在安装linux的时候,已经自己起名过,博主起的名字是kkc,而在此处是localhost,大家需要注意,不能和 127.0.0.1 localhost 重名,这样最后会导致出错)



9.接下来,咱们创建一个专门的hadoop的用户组,利用一下命令

#groupadd hadoop      创建hadoop用户组

#useradd -g hadoop hadoop    新建hadoop用户并增加到hadoop用户组中

#passwd hadoop     hadoop用户密码,为hadoop


10、Hadoop使用端口比较多,建议关闭防火墙避免出现不必要的问题,生产环境中可以对相应端口做安全控制。先需要关闭防火墙

Centos6.5自带防火墙是iptables防火墙,没有firewall防火墙。

通过命令:#service iptables status     查看防火墙状态


通过命令关闭防火墙:

(1)#chkconfig iptables off  这种方式是永久性关闭,系统重启后不会复原。

(2)#service iptables stop这种方式是即时生效,系统重启后会复原。

咱们使用命令1 ,但是,需要重新启动, 为了方便,不用关机,咱们1,2命令同时,可以再虚拟机运行过程中关闭防火墙。

使用完命令后,咱们检查一下,防火墙是否关闭




第二 、SSH 配置!

1 配置SSH实现无密码验证配置,首先切换到刚创建的hadoop用户下。

由于hadoop需要无密码登录作为datanode的节点。

部署单节点的时候,当前节点既是namenode又是datanode,所以此时需要生成无密码登录的ssh。方法如下:

#su hadoop

#cd



2 、创建.ssh目录,生成密钥

#mkdir .ssh

#ssh-keygen -t rsa   注意,ssh与keygen之间是没有空格的,中间的询问部分,咱们用回车跳过,相当于设置免密码登录



3 、切换到.ssh目录下,进行查看公钥和私钥

#cd .ssh

#ls


4、将公钥复制到日志文件里。查看是否复制成功

#cp id_rsa.pub authorized_keys             

#ls


5、查看日记文件具体内容

#vi authorized_keys


6、退回到/home/hadoop/,来赋予权限

#cd ..

#chmod 700 .ssh          将.ssh文件夹的权限赋予700

#chmod 600 .ssh/*      将.ssh文件夹里面的文件(id_rsa、id_rsa.pub、authorized_keys)的权限

赋予600


7、切换到root用户下,安装ssh插件(openssh)

#su root

#yum -y install openssh-clients


8、切换到/home/hadoop/,测试ssh无密码访问

#su hadoop

#ssh localhost

#yes




三.hadoop 环境配置
接下来,到了关键的步骤了,搭建hadoop伪分布式环境
下载并解压Hadoop2.2.0,把文件放到/usr/java/目录下,注意:下载前确认一下你的Linux系统是64位系统还是32位系统,分别下载对应的版本,如果下载错了,后面会有很多问题
当然,这个文件,已经下载到了本地,接下来,我们将利用rz命令将文件上传到虚拟机当中

1 .

首先,切换到/usr/java/ ,再切换到root用户下,再 /root/java

#cd /usr/java

#su root


2、用rz命令从Windows来上传hadoop-2.2.0-x64.tar.gz到/usr/java/下。
#rz

3、查看上传好的hadoop-2.2.0-x64.tar.gz,并解压

#ls

#tar axvf hadoop-2.2.0-x64.tar.gz


4、将文件名hadoop-2.2.0修改为hadoop,并查看

#mv hadoop-2.2.0 hadoop

#ls

将刚改名的hadoop文件,权限赋给hadoop用户,并查看权限

#chown -R hadoop:hadoop hadoop

#ls -l 

5、创建一个hadoop数据目录 ,将整个data目录权限赋予给hadoop用户

#mkdir -p /data/dfs/name

#mkdir -p /data/dfs/data

#mkdir -p /data/tmp

#chown -R  hadoop:hadoop  hadoop  /data

 #ls -l  /data


6、修改hadoop对应的配置文件

切换到hadoop用户,切换到hadoop目录

#su hadoop

#cd hadoop

查看下etc/hadoop的配置文件

#cd etc/

#ls

#cd hadoop/

#ls

7.接下来的步骤,需要十分仔细,是修改hadoop的配置文件了!会尽量详细的解释下这些文件的用处以及如何配置

首先,修改etc/hadoop/core-site.xml配置文件,添加如下信息

#vi core-site.xml

(1)配置HDFS(hadoop)的分布式文件系统的地址及端口号

<property>

                <name>fs.defaultFS</name>

                <value>hdfs://localhost:9000</value>          <!--   注意,本机的名称localhost需要大家更改-->

</property>

(2)配置HDFS路径的存放数据的公共目录

<property>

                <name>hadoop.tmp.dir</name>

                <value>file:/data/tmp</value>

 </property>

(3)注意:由于在hadoop1.0中引入了安全机制,所以从客户端发出的作业提交者全变成了hadoop,不管原始提交者是哪个用户,为了解决该问题,引入了安全违章功能,允许一个超级用户来代替其他用户来提交作业或者执行命令,而对外来看,执行者仍然是普通用户。

配置设置为任意客户端

<property>

                <name>hadoop.proxyuser.hadoop.hosts</name>

                <value>*</value>

 </property>

配置设为任意用户组

 <property>

                <name>hadoop.proxyuser.hadoop.groups</name>

                <value>*</value>

</property>



#wq 保存退出!

8.修改etc/hadoop/hdfs-site.xml配置文件,添加信息。

通过命令 #vi hdfs-site.xml

(1)配置namenode文件目录

<property>

                <name>dfs.namenode.name.dir</name>

                <value>/data/dfs/name</value>

                <final>true</final>

</property>

(2)配置datanode文件目录

<property>

                <name>dfs.datanode.data.dir</name>

                <value>/data/dfs/data</value>

                <final>true</final>

</property>

(3)配置数据块副本和HDFS权限

 <property>

                <name>dfs.replication</name>

                <value>1</value>

 </property>

 <property>

                <name>dfs.permissions</name>

                <value>false</value>

 </property>



#wq保存并退出


9、修改etc/hadoop/mapred-site.xml配置文件,添加如下信息。

#cp mapred-site.xml.template mapred-site.xml

#vi mapred-site.xml


配置mapreduce环境为yarn

 <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

 </property>


#wq保存退出

10 、修改etc/hadoop/yarn-site.xml配置文件。

#vi yarn-site.xml

为了能够运行mapreduce程序,我们需要让.nodemanger在启动时加载shuffle。

所以需要下面设置

<property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

</property>



#wq 保存退出

11、修改etc/hadoop/slaves,添加如下信息。即slaves文件

#vi slaves


现在是伪分布式单节点集群,所以datanode和namedata在一个节点上。

12、设置总结 : jdk环境变量配置是放在/etc/profile.d    hadoop环境变量配置是放在/etc/profileHadoop环境变量

切换到root用户下,修改/etc/profile文件

#su root

不是HADOOP_HOME=/usr/java/hadoop-2.2.0  ,因为前面更改名字了



#wq 保存并退出

注意 : jdk环境变量配置是放在/etc/profile.d    hadoop环境变量配置是放在/etc/profile

13、使配置文件生效

#source /etc/profile


第四、测试hadoop运行

     

1、切换到hadoop用户,退回到hadoop目录下。

#su hadoop

#cd ..

#cd ..

#ls


2、格式化namenode

#bin/hadoop namenode  -format


3 启动集群(每次开机时候,都要启动)

#sbin/start-all.sh 


4、查看集群进程

#jps


5.打开本地的hosts文件,修改设置,然后,保存,退出。


添加  192.168.159.22  localhost(注意,你们的电脑的用户名称是什么,就相应的写什么,比如,博主的是 kkc )  到其中


7、 最后,现在是来验证hadoop是否安装成功

在Windows上可以通过 http://localhost:50070 访问WebUI来查看NameNode,集群、文件系统的状态。这里是HDFS的Web页面

由于,博主的电脑设置的http//kkc:50070  


OK ,单节点的环境搭建成功!



参考博客------好记性不如烂笔头!


http://www.ngui.cc/el/5432323.html

相关文章

myeclipse当中,如何导入或者导出项目

最近老师给尼玛哥一个项目&#xff0c;做一个在线教学平台的系统出来&#xff0c;尼玛哥现在还处在摸爬滚打阶段&#xff0c;在网上搜到一个相关的项目&#xff0c;刚刚开始导入项目的时候&#xff0c;都不知道怎么去导入项目&#xff0c;真的是很尴尬&#xff0c;在网上搜索了…

linux基础学习之用户和用户组

尼玛哥在网上找到一个很好的介绍linux的网站&#xff0c;分析给大家去看看&#xff1a;linux基础学习 Linux 用户和用户组管理 Linux系统是一个多用户多任务的分时操作系统&#xff0c;任何一个要使用系统资源的用户&#xff0c;都必须首先向系统管理员申请一个账号&#xff0…

严重:Parse error in application web.xml file at jndi:/localhost/day_29/WEB-INF/web.xml解决办法

首先&#xff0c;遇到这类问题&#xff0c;可以先锁定问题是出在了web.xml当中&#xff0c;咱们看看问题的具体描述 严重: Parse error in application web.xml file at jndi:/localhost/day_29/WEB-INF/web.xml org.xml.sax.SAXParseException; systemId: jndi:/localhost/da…

快速学习javaSE基础2-java编程环境搭建基本过程(掌握)

在基础1当中&#xff0c;咱们了解了JAVA 的一些基本常识&#xff0c;接下来&#xff0c;咱们就去了解下Java的环境是如何搭建的 1.明确什么是JDK,JRE 2.下载 JDK&#xff0c;安装 JDK 官方网址&#xff1a; www.oracle.com java.sun.com 安装JDK 傻瓜式安装&#xff0c;下一步即…

mapreduce 的过程

从前面的例子我们已经大致了解了一个MapReduce的作业的过程&#xff0c;但是这样是不够的&#xff0c;本节将深入探讨MapReduce的整个过程。 从输入到输出 从前而的WordCount可以看出&#xff0c;一个MapReduce作业经过了input, map, combine, reduce.output五个阶段&#xff…

linux当中使用vi/vim编辑器时,错误操作遇到警告信息,该如何做。

最近尼玛哥在使用linux 的时候&#xff0c; 尤其是编译文件时进入编辑模式后&#xff0c;编写了一堆文件&#xff0c;突然又不想编写了&#xff0c;或者是因为文件太多&#xff0c;而又不希望在一个一个倒退&#xff0c;直接按下了ctrl z 键&#xff0c;退出文件编辑。这时候&…

MySQL 5.5 Command Line Client 打开出现闪退(错误)的解决办法

解决方法&#xff0c;打开文件安装所在位置。 假设尼玛哥的文件存储在 E:\mysqlserver\mysql 目录下&#xff0c;在此目录当中&#xff0c;咱们发现&#xff0c;有6个ini结尾的文件。 此时&#xff0c;咱们需要做的就是&#xff0c;复制任意一个 ini结尾的文件&#xff…

修改mysql默认编码重启后又还原,且在修改my.ini配置文件出现1067错误的解决办法。

尼玛哥在命令行操作来修改mysql的编码的时候&#xff0c;每次重新启动&#xff0c;都会还原到原有的配置去&#xff0c;无数次的失败&#xff0c;当出现这种情况时这时候&#xff0c;你要做的就是去修改配置文件了 注意&#xff0c;配置文件放在你所安装的mysql里边&#xff0…

Neo4j CQL - (6)-关系基础

Neo4j图数据库遵循属性图模型来存储和管理其数据。 根据属性图模型&#xff0c;关系应该是定向的。 否则&#xff0c;Neo4j将抛出一个错误消息。 基于方向性&#xff0c;Neo4j关系被分为两种主要类型。 单向关系双向关系 在以下场景中&#xff0c;我们可以使用Neo4j CQL C…

Python ( 1 ) ----- 简介

Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python的设计具有很强的可读性&#xff0c;相比其他语言经常使用英文关键字&#xff0c;其他语言的一些标点符号&#xff0c;它具有比其他语言更有特色语法结构。 Python 是一种解释型语言&#xff…