360SDN.COM

首页/Hadoop/列表

【技术贴】hadoop2.7.2单机与伪分布式安装

来源:好程序员  2017-09-19 15:24:04    评论:0点击:

系统:CentOS 6.8 64位
jdk:1.7.0_79
hadoop:hadoop 2.7.2

配置SSH免密码登录

1
2
3
4
5
6
7
#ssh-keygen -t dsa -P  ''  -f ~/.ssh/id_dsa  生成秘钥
#cd ~/.ssh/
id_dsa  id_dsa.pub  known_hosts
id_dsa 私钥(给自己用)  id_dsa.pub(给别人用)
把公钥文件追加到本地的认证文件中去
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
就可以免密码登录

 测试下ssh是否可用

1
ssh localhost

安装hadoop2

下载hadoop-2.7.2.tar.gz,放在opt目录下,解压

1
tar -zxvf hadoop-2.7.2.tar.gz

 配置Hadoop,路径/opt/hadoop-2.5.1/etc/hadoop

配置core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
<configuration>
<property>
     < name >hadoop.tmp.dir</ name >
     <value>/opt/hadoop-2.5.1/tmp</value>
     <description>Abase  for  other  temporary  directories.</description>
</property>
<property>
     < name >fs.defaultFS</ name >
     <value>hdfs://localhost:9000</value>
</property>
 
</configuration>

配置hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<configuration>
 
<property>
     < name >dfs.replication</ name >
     <value>1</value>
</property>
<property>
     < name >dfs.namenode. name .dir</ name >
     <value>/opt/hadoop-2.5.1/dfs/ name </value>
</property>
<property>
     < name >dfs.datanode.data.dir</ name >
     <value>/opt/hadoop-2.5.1/dfs/data</value>
</property>
 
</configuration>

配置yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<configuration>
 
<! -- Site specific YARN configuration properties -->
 
<property>
         < name >mapredure.framework. name </ name >
         <value>yarn</value>
</property>
<property>
         < name >yarn.nodemanager.aux-services</ name >
         <value>mapreduce_shuffle</value>
</property>
 
 
</configuration>

配置mapred-site.xml

1
2
3
4
5
6
7
8
<configuration>
 
<property>
         < name >mapreduce.framework. name </ name >
         <value>yarn</value>
     </property>
 
</configuration>

配置hadoop-env.sh

1
export JAVA_HOME=/usr/lib/jvm/java-1.7.0

配置完成后,格式化NameNode

1
hadoop namenode -formate

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程

1
./sbin/start-dfs.sh

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。

1
2
3
4
2520 DataNode
2681 SecondaryNameNode
2439 NameNode
3290 Jps

启动YARN

1
2
3
4
5
6
7
8
[root@root hadoop-2.5.1]# start-yarn.sh
 
2520 DataNode
3414 NodeManager
2681 SecondaryNameNode
2439 NameNode
3518 Jps
2825 ResourceManager


好程序员大数据二期班9月4日开班

本期优惠5000

另外,好程序员郑重承诺:

学员毕业工资不过万,不收学费!




大家好,我是好程序员。
是“千锋互联”与“中关村国际孵化软件协会”的宝贝儿子。自打我出生以来,就肩负着拯救移动互联网行业高端研发人才匮乏问题的重任,我的四大法宝有Android、IOS、Java、大数据的高端课程。如果你是具有一定基础的“优良品种”,赶快来找我,我会把你妥妥地保送到IT大佬的怀抱之中。 


阅读原文

为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权