小工具知识网

当前位置: 首页 > 行业知识 > 大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署

行业知识

大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署

2026-11-18 03:00:34 来源:互联网转载

���录

实验环境:

实验步骤:

〇、Zookeeper安装配置:

一、安装前注意事项

二、HBase安装

 三、Hbase集群配置

1.配置hbase-env.sh文件,位于Hbase安装目录/conf/

2.配置hbase-site.xml文件,位于Hbase安装目录/conf/

3.配置regionservers

4.新建 backup-masters文件,添加备份HMaster机器名

四、将配置好的Hbase分发到其他机器

五、分发、刷新环境变量

六、常用命令

七、浏览器web验证

八、注意事项


实验环境:

操作系统:Ubuntu 18.04

Hadoop版本:3.1.3

JDK版本:1.8

Zookeeper版本:3.7.1

HBase版本:2.2.2

实验步骤:

〇、Zookeeper安装配置:

(30条消息) Zookeeper安装配置_木子一个Lee的博客-CSDN博客

一、安装前注意事项

查看每台服务器的时间是否一致,检查HBASE集群每台服务器的时间是否是一致的,不然会导致集群启动异常:

timedatectl status

 

可以看出是一致的,如果不一致需要校准。

二、HBase安装

下载安装包hbase-2.2.2-bin.tar.gz

解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local

tar -zxvf ./hbase-2.2.2-bin.tar.gz -C /usr/local

改名:

cd /usr/local
mv hbase-2.2.2 hbase

配置系统环境

vim /etc/profile

添加:

export HBASE_HOME=/usr/local/hbaseexport PATH=$PATH:$HBASE_HOME/bin:/$HBASE_HOME/sbin

刷新环境变量

source /etc/profile

 三、Hbase集群配置

1.配置hbase-env.sh文件,位于Hbase安装目录/conf/

cd /usr/local/hbase/conf
vim hbase-env.sh

把最后一行的注释去除(解决hadoop和hbase的jar包冲突问题,为了不让hbase扫描hadoop的jar包),并且添加(第三条很重要!!!否则会出现地址占用、myid被改导致外部zookeeper启动失败等问题):

export JAVA_HOME=/usr/local/jdkexport HBASE_CLASSPATH=/usr/local/Hadoopexport HBASE_MANAGES_ZK=false

不用配置时区: 

export TZ=“Asia/Shanghai”(配置会造成日志文件时间早8个小时)

HBASE_CLASSPATH用于引导HBase找到Hadoop目录,一定要改成hadoop的目录,不然无法识别Hadoop集群名称

HBASE_MANAGES_ZK=true,则使用HBase自带的Zookeeper进行管理,只能实现单机模式,常用于测试环境,不能用于生产环境

设为false,启动独立的Zookeeper

建议:单机版HBase使用自带Zookeeper;集群安装HBase则采用单独Zookeeper集群

2.配置hbase-site.xml文件,位于Hbase安装目录/conf/

vim hbase-site.xml

添加: 

                            hbase.rootdir                     hdfs://master:9000/hbase                              hbase.cluster.distributed              true                               hbase.master.info.port              16010                               hbase.regionserver.info.port              16030                            hbase.zookeeper.quorum              master:2181,slave1:2181,slave2:2181                            hbase.zookeeper.property.dataDir              /usr/local/zookeeper/data                             hbase.unsafe.stream.capability.enforce               false                            dfs.replication              2                            hbase.master.maxclockskew              150000       

3.配置regionservers

删除localhost

写入

slave1slave2

4.新建 backup-masters文件,添加备份HMaster机器名

该文件不能写注释,启动时会把注释的那行当成服务器列表而导致启动失败:

vim backup-masters

设置备用master为slave1

四、将配置好的Hbase分发到其他机器

scp -r /usr/local/hbase root@slave1:/usr/local/
scp -r /usr/local/hbase root@slave2:/usr/local/

五、分发、刷新环境变量

cd
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc

然后在每个服务器上刷新环境变量:

source /etc/profile

六、常用命令

查看版本信息:

hbase version

启动(master机器)/*要先启动zookeeper和Hadoop

start-hbase.sh

master有HMaster,备用节点slave1有HRegionserver和HMaster

slave2有HRegionserver

关闭    /*先关闭HBase再关闭Hadoop

stop-hbase.sh 

启动某一个节点

hbase-daemon.sh start regionserver

启动所有节点

hbase-daemons.sh start regionserver

七、浏览器web验证

http://master:16010/master-status
http://slave1:16030/rs-status
http://slave2:16030/rs-status

八、注意事项

HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。

以下先决条件很重要,如未配置JAVA_HOME环境变量,会报错。

– JDK

– Hadoop( 单机模式不需要,伪分布式模式和分布式模式需要)

– SSH

启动关闭Hadoop和HBase的顺序一定是:

启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

上一篇:立讯服务器地址在哪里?

下一篇:服务器是怎么判断token过期?