360SDN.COM

首页/Hadoop/列表

Hadoop2.5+hbase+hive集群环境搭建

来源:  2019-02-22 10:23:23    评论:0点击:

Hadoop是一个开发和运行处理大规模数据的平台,实现在多台计算机组成的集群中对海量数据进行分布式计算。

hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储,mapreduce提供了对数据的计算。

hadoop处理海量数据,需要hbase做数据库,hbase是面向列的分布式数据库,使用集群环境的内存做处理,但是不支持sql语句,所以操作和计算数据非常不方便,于是整合hive,hive支持sql语句,让hive支撑在hbase数据库层面的查询。

下面介绍hadoop2.5.0+hbase+hive的环境部署:

一、Hadoop框架

hadoop使用主/从(master/slave)架构,主要由NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成。

其中,NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。

NameNode:HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。

DataNode:集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体的读写操作。

secondary NameNode:用来监控HDFS状态的辅助后台程序,如果NameNode发生问题,可以使用Secondary NameNode作为备用的NameNode。

JobTracker:用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker会自动开启这个task。

TaskTracker:负责存储数据的DataNode相结合,位于从节点,负责各自的task。

 

1)准备工作:

4台独立的主机

一台为master,其余3台为slave。

操作系统均为CentOS 5.8,jdk均安装同个版本同个目录,配置好/etc/profile。

为避免权限问题导致无法使用,以下操作均使用了root账号操作。如果是其他账号操作,要确保同个账号对每台主机相同目录的操作权限一致。

2)做好master到slave的ssh免登录:

在master上依次操作:

ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> /root/.ssh/authorized_keys
chmod 600 authorized_keys
service ssh restart
然后将 id_rsa.pub authorized_keys id_rsa,拷到其它机器上,注意文件的权限与目录的权限:
scp id_rsa.pub  root@slave1:~/.ssh/id_rsa.pub.master
scp id_rsa.pub  root@slave2:~/.ssh/id_rsa.pub.master
scp id_rsa.pub  root@slave3:~/.ssh/id_rsa.pub.master

3)每台机器配置hosts:

XXX.XXx.XXx.XX  master
XXX.XXx.XXx.XX  slave2
XXX.XXx.XXx.XX  slave1
XXX.XXx.XXx.XX slave3
 

4)每台机器配置对应的hostname:

如master节点,打开/etc/sysconfig/network: 

NETWORKING=yes
HOSTNAME=master

其他从节点的hostname分布配置成对应的slave1、slave2、slave3

5)创建相关数据目录:

如hadoop存放目录为/user/hadoop-2.5.0,将hadoop安装到该目录下。具体配置如下: 

  • 在每个节点上创建程序存储目录/user/hadoop-2.5.0,用来存放Hadoop程序文件
  • 在每个节点上创建数据存储目录/user/hadoop-2.5.0/hdfs,用来存放集群数据
  • 在主节点上创建目录/user/hadoop-2.5.0/hdfs/name,用来存放文件系统元数据
  • 在每个从节点上创建目录/user/hadoop-2.5.0/hdfs/data,用来存放真正的数据
  • 所有节点上的日志目录为/user/hadoop-2.5.0/logs
  • 所有节点上的临时目录为/user/hadoop-2.5.0/tmp

6)修改etc/profile文件,给每台机器配置环境变量:

export HADOOP_HOME=/user/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

7)hadoop配置文件(core-site.xml,hdfs-site.xml,yarn-site.xml):

配置文件所在目录为/user/hadoop-2.5.0/etc/hadoop

a、配置core-site.xml
 
<configuration>

     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:8020</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/user/hadoop-2.5.0/data/tmp</value>
     </property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
    </configuration>

 

   
fs.defaultFS为NameNode的地址。 

hadoop.tmp.dir为hadoop临时目录的地址,默认情况下,NameNode和DataNode的数据文件都会存在这个目录下的对应子目录下。应该保证此目录是存在的,如果不存在,先创建。

 

b、配置hdfs-site.xml
 

 
    <configuration>
<property>
       <name>dfs.nameservices</name>
       <value>master</value>
     </property>
     <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>slave1:50090</value>
     </property>
     <property>
       <name>dfs.data.dir</name>
       <value>/usr/hadoop-2.5.0/data</value>
     </property>
     <property>
       <name>dfs.replication</name>
       <value>2</value>
     </property>
    </configuration>
 

c、配置yarn-site.xml 

  <configuration> 
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>106800</value>
        </property>

 

    </configuration>

d、配置mapred-site.xml


    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>master:19888</value>
        </property>
    </configuration>
 

e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本,修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME

f、修改slaves文件

8)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /usr/hadoop-2.5.0 root@slave1:/usr/hadoop-2.5.0
scp -r /usr/hadoop-2.5.0 root@slave2:/usr/hadoop-2.5.0
scp -r /usr/hadoop-2.5.0 root@slave3:/usr/hadoop-2.5.0

9)确保每台机器的防火墙关闭:

service iptables stop   

10)格式化文件系统:

hadoop namenode -format

hadoop datanode -format

11)启动hdfs集群:

start-dfs.sh

可以访问http://master:50070,查看hadoop集群中hdfs状态
查看hadoop集群中hdfs状态

12)启动yarn集群:

start-yarn.sh

可以访问http://master:8099,查看yarn集群状态

也可以直接使用start-all.sh脚本启动,该脚本包含了hdfs和yarn两个集群的启动。

 

二、Hbase

在master上操作,将hbase安装到/user/hadoop-2.5.0目录下。

1)修改配置文件:

 配置文件所在目录为/user/hadoop-2.5.0/hbase-1.0.0-cdh5.4.8/conf

a、配置hbase-site.xml

b、配置hbase-env.sh脚本,修改脚本的JAVA_HOME为当前系统的JAVA_HOME

 c、配置regionservers

2)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /user/hadoop-2.5.0/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /user/hadoop-2.5.0/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /user/hadoop-2.5.0/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

3)每台机器配置环境变量:

export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin

4)启动hbase集群:

start-hbase.sh

 

 

三、Hive

在master上操作,将hive安装到/user/hadoop-2.5.0目录下。

1)修改配置文件:

 配置文件所在目录为/user/hadoop-2.5.0/hive-0.13.1-cdh5.3.2/conf

a、配置hive-site.xml

b、配置hive-env.sh脚本

2)配置环境变量:

export HIVE_HOME=/user/hadoop-2.5.0/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

3)启动hive:

进入/user/hadoop-2.5.0/hive-0.13.1-cdh5.3.2/bin

nohup hiveserver2 &

 

 

以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。

d、配置mapred-site.xml

e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本,修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME

f、修改slaves文件

8)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /home/hadoop2 root@slave1:/home/hadoop2/
scp -r /home/hadoop2 root@slave2:/home/hadoop2/
scp -r /home/hadoop2 root@slave3:/home/hadoop2/

9)确保每台机器的防火墙关闭:

service iptables stop

10)格式化文件系统:

hadoop namenode -format

hadoop datanode -format

11)启动hdfs集群:

start-dfs.sh

可以访问http://master:50070,查看hdfs集群状态

12)启动yarn集群:

start-yarn.sh

可以访问http://master:8099,查看yarn集群状态

也可以直接使用start-all.sh脚本启动,该脚本包含了hdfs和yarn两个集群的启动。

 

二、Hbase

在master上操作,将hbase安装到/home/hadoop2目录下。

1)修改配置文件:

 配置文件所在目录为/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf

a、配置hbase-site.xml

b、配置hbase-env.sh脚本,修改脚本的JAVA_HOME为当前系统的JAVA_HOME

 c、配置regionservers

2)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

3)每台机器配置环境变量:

export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin

4)启动hbase集群:

start-hbase.sh

 

 

三、Hive

在master上操作,将hive安装到/home/hadoop2目录下。

1)修改配置文件:

 配置文件所在目录为/home/hadoop2/hive-0.13.1-cdh5.3.2/conf

a、配置hive-site.xml

b、配置hive-env.sh脚本

2)配置环境变量:

export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

3)启动hive:

进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin

nohup hiveserver2 &

 

 

以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。


为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权