博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hbase伪集群搭建
阅读量:5978 次
发布时间:2019-06-20

本文共 3677 字,大约阅读时间需要 12 分钟。

hbase 数据存储有三种跑法,跑在本地磁盘上、跑在伪分布式上、跑在完全分布式上--------

额。。。官网的文档挺坑爹的,结合官网、百度、谷歌的各种文档看,只要理解原理,搭建也不算难(当然照的官网文档个看就比较坑爹了)
单机模式 ------->> 这个最简单,免写了,下了包直接解压配置个路径就可以启动了,zk 和 hbase 都是起在同一个 jvm 中的,数据落到本地磁盘。
伪分布式部署方式 ------->> 先部署 hdfs , 再部署 hbase ,它们的各个进程跑在不同的 jvm 中 , hbase只是将数据落到了 hdfs 上。
完全分布式 ------->> 完全分布式用大白话来说,我理解的就是个 伪分布式的 升级款,只是把伪分布式的一台服务器变成了 n 台。。。

完全分布式一定要部署在 物理机上

上边蛋扯的差不多了,下面直接入正题,开始部署

下载什么版本的包自己解决,要想下载最轻松的全部安装包,直接到 cdh 上去下载,百度搜索 cdh ,你懂的、、、然后配置文件每个版本的基本上差不多,没有太大的出入
下面是以 hadoop-2.7.2 、 hbase-1.1.2 为例

一、新系统的话,自己先处理一下系统,这个习惯相信所有运维同行的哥哥们都是有这习惯的。。。关闭不用的防火墙、最大文件打开数、jdk全局变量、dns、主机名解析

建议配置时用 ip 的最后用内网的域名,这样的话,开发的代码也好接入做好的 hbase,用主机名的话,开发的还得自己的 hosts ,我这里用的 内网的 dns 域名。

二、部署 hdfs

包传到 服务器上,解压

hadoop-2.7.2.tar.gztar xvf  hadoop-2.7.2.tar.gz  -C /homecd /home/hadoop-2.7.2vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_72

配置HDFS 之 core-site.xml

mkdir datavim etc/hadoop/core-site.xml
fs.defaultFS
hdfs://pretend.hdfs.gag.cn:9000
hadoop.tmp.dir
/home/hadoop-2.7.2/data/tmp

配置HDFS 之 hdfs-site.xml

vim etc/hadoop/hdfs-site.xml   
dfs.replication
1

配置HDFS 之 YARN, 这原配置文件里什么也没有,都是注释内容,直接改名就行

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xmlvim etc/hadoop/mapred-site.xml  
mapreduce.framework.name
yarn

配置HDFS 之 yarn-site.xml

vim etc/hadoop/yarn-site.xml  
yarn.nodemanager.aux-services
mapreduce_shuffle

启动 hdfs

初次启动 hdfs 先要初始化文件系统,也可以说是格式化文件系统

bin/hdfs namenode -format

hbase伪集群搭建

格式化完毕,启动NameNod和DataNode进程

启动之前如果修改 jvm 参数的话,在 vim etc/hadoop/hadoop-env.sh 修改 HADOOP_HEAPSIZE 这一项就可以了,默认应该是 1024M

sbin/start-dfs.sh

启动以后,有这里显示有 三个配置文件,是 out 后缀的,看日志的话,看 log 后缀的,看有没有 error 级别的报错

hbase伪集群搭建

启动YARN

sbin/start-yarn.sh

同样是去看这两个的 log 后缀的日志

这里了 hdfs 就算启动完毕了,这时再 jps 命令可以看到除 jps 进程外有 5 个
hbase伪集群搭建

查看端口已经有这么多了, 50070 是 hdfs 的 web 端口,以后输入 ip:port 或者 域名:port 来查看 web 页面

hbase伪集群搭建
hbase伪集群搭建

======================================================================

以上 hdfs 启动没问题后,就可以启动 hbase 了

tar xvf hbase-1.1.2-bin.tar.gz -C /home/             cd /home/hbase-1.1.2/        vim conf/hbase-env.sh        export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_72

配置Hbase

mkdir datavim conf/hbase-site.xml      
hbase.rootdir
hdfs://pretend.hdfs.gag.cn:9000/hbase
hbase.zookeeper.property.dataDir
/home/hbase-1.1.2/data
hbase.cluster.distributed
true

hbase 集群内的服务器,如果是启动完全分布式,这里要填写hbase所有的服务器域名或者 ip 或者 主机名,顺便说一下,hbase和 hadoop 集群全部是已 ssh 远程 调用命令的方式启动其他节点的

vim conf/regionservers          pretend.hbase.gag.cn

这里的话,我把内存调整了一下,因为开发那边要用,服务器是 8G 的

vim conf/hbase-env.sh     export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=1024m -XX:MaxPermSize=512m"export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=1024m -XX:MaxPermSize=512m"

启动Hbase

先启动 zookeeper,如果是完全分布式的话,所有的 hbase节点会以临时节点的方式注册在 zk 里,伪分布式也一样,只不过zk 里只有一个节点,zk 也只有一个节点

bin/hbase-daemon.sh start zookeeper         启动后查看日志 bin/hbase-daemon.sh start master               启动后查看日志 bin/hbase-daemon.sh start regionserver      启动后查看日志

此时的 jps 可以查看到除 jps 外 8 个进程

hbase伪集群搭建

hbase 的 web 页面端口是 16010

hbase伪集群搭建

如果要加 开机启动的话,最好加上sleep等待,我是这样加的

hbase伪集群搭建

正常停止方式:

一定要按照顺序停止
停止 hbase、zookeeper、hdfs

转载于:https://blog.51cto.com/rsddn/2083042

你可能感兴趣的文章
android应用植入广告SDK,获取广告收入
查看>>
我的友情链接
查看>>
我的友情链接
查看>>
Springboot2.1.3 + redis 实现 cache序列化乱码问题
查看>>
各种资源思科、gns3……
查看>>
oracle基础之工具系列(持续更新中,,)
查看>>
利用命令清除和设定静态IP地址
查看>>
深挖BAT内部级别和薪资待遇
查看>>
利用 Android Studio 和 Gradle 打包多版本APK
查看>>
hdu1208
查看>>
struct 类型指针技巧
查看>>
POJ 1321 棋盘问题 题解
查看>>
js实现购物车数量的增加与减少,js实现购物车数量的自增与自减
查看>>
gitlab部署步骤+汉化
查看>>
linux清理缓存的命令
查看>>
jquery文本折叠
查看>>
验证码
查看>>
springmvc请求参数获取(自动绑定)的几种方法
查看>>
对导航条的改造
查看>>
python 异常处理
查看>>