360SDN.COM

首页/Hadoop/列表

hadoop再次集群搭建(5)-CDH Install

来源:  2016-08-31 12:45:03    评论:0点击:

   登录 http://node1.com:7180/.用户名和密码都是admin。启动服务命令是
service  cloudera-scm-server start

最开始两个页面直接continue,然后会出现下面这个页面:

可以看出我们可以通过Cloudera Manager安装的hadoop组件。

接下来,配置我们要安装的服务器有哪些:
我这里有三台服务器。

接下来选择cdh版本:我选择最新的5.5.1


是否安装jdk:


是否是单用户模式:我选择不适用



在常规 Cloudera Manager 部署中,管理每个主机上的 Hadoop 进程的 Cloudera Manager Agent 以根用户运行。但是,某些环境限制对根帐户的访问。

Cloudera Manager 5.3 提供了单用户模式,从而满足了对些类环境的要求。在单用户模式中,Cloudera Manager Agent 和所有由 Cloudera Manager 所管理服务运行的进程作为单个配置的用户和组启动。在系统上运行的 Hadoop 进程之间,单用户模式确定 Hadoop 与系统其他部分(隔离以外)之间的隔离的优先级。

在 Cloudera Manager 部署中,单用户模式为全局模式,并且适用于所有由该 Cloudera Manager 实例管理的群集。

默认情况下,单用户为 cloudera-scm,并且在以下部分所描述的配置步骤中假定该用户用单用户。但是,也支持其他用户。如果选择其他用户,请在以下步骤中使用所选用户替换 cloudera-scm,并执行 使用非默认单用户 中的附加步骤。




接下来提供集群的 ssh登录配置。


这里选择了root用户,选择hadoop怎么弄都不行,现在还是没有找到原因。我的hadoop是有user权限的,不知道为什么不行。

接下来就是安装界面:



可以查看details看到运行的脚本。也可以通过网络监控查看下载的速度:


可以看出下载速度其实挺快的。有这个网络监控工具可以大致看到集群内部的连接状态:




安装过程中node2老是报错,经过检查原来是node2上面的hosts文件配置错误,导致不能创建socket。所以集群一定要保证每一台服务器都可以相互通信,这是前提。


然后就是安装cdh了:

下载完成,分发:这里下载只是在server这个机器上下载,下载一次之后分发给其他的服务器:
安装成功之后,进行集群检查,出现如下提示:

第一个警示是:系统的交换参数是60而集群要求的是10,需要进行修改
第二个是 Transparent Huge Page Compaction开启,会极大的影响集群的性能,需要关闭。
修改步骤:
第一个是  /proc/sys/vm/swappiness的值为60 而不是10,而这个文件是不能够修改的。解决方法是修改 /etc/sysctl.conf 增加vm.swappiness=10在最后
第二个直接运行echo never > /sys/kernel/mm/transparent_hugepage/defrag 然后增加同样的命令道系统初始化的脚本中。 /etc/rc.local 加在这个文件里面

然后是设置集群


集群配置我选择默认,感觉node1服务比较多,配置低的盆友可以适当均匀一下。
然后是测试数据库:集群需要使用数据库进行工作,包括hive等进行存储元数据



完成安装:




Charles 于2015-12-17 Phnom Penh



版权说明:
本文由Charles Dong原创,本人支持开源以及免费有益的传播,反对商业化谋利。
CSDN博客:http://blog.csdn.net/mrcharles
个人站:http://blog.xingbod.cn
EMAIL:charles@xingbod.cn

来自: http://blog.csdn.net//mrcharles/article/details/50357254

为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权