news 2026/8/11 16:20:40

如何搭建Hadoop高可用环境下的hbase

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
如何搭建Hadoop高可用环境下的hbase

一、HBase的解压

解压HBase到指定目录,可自定义:

tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt

二、修改HBase对应的配置文件。

1)HBase-env.sh修改内容:

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/var/Hadoop/pids

2)hbase-site.xml修改内容:

<configuration><!--hbase数据在hdfs中保存的路径,和单点不同的是这里的配置不再直接指向一个定死的namenode,而是一个高可用的通道,hdp1是hadoop的hdfs.site.xml文件中的dfs.nameservices的值--><property><name>hbase.rootdir</name><value>hdfs://hdp1/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><!--hbase主节点的端口0.98后的新变动,之前版本没有.port,默认端口为60000--><property><name>hbase.master.port</name><value>16000</value></property><!--zookeeper集群,不写端口默认,默认是2181,你可以在这里一起制定,也可以用下面的配置制定--><property><name>hbase.zookeeper.quorum</name><value>hdp1,hdp2,hdp3</value></property><!--zookeeper 的端口号,可以不配默认2181--><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property><!--zookeeper运行数据路径,如果上面的环境文件中 zk manager 你设置的是true,就需要用这个配置--><property><name>hbase.zookeeper.property.dataDir</name><value>/opt/zookeeper-3.4.10/zkData</value></property></configuration>

3)regionservers集群成员配置:
hdp1
hdp2
hdp3

4)如果你需要高可用的hmaster服务,只需要新增配置文件 conf/backup-masters 里面写备用主节点列表即可,hbase的ha服务非常简单,当然你也可以不用这个文件,因为它可以用命令来动态启动备用节点 5)软连接hadoop配置文件到hbase,这种方式不推荐,一来麻烦,二来容易出错
ln -s /opt/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/hbase/conf/core-site.xml
ln -s /opt/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/hbase/conf/hdfs-site.xml
提示:如果集群上配置了hadoop的home环境变量,就不用做软连接的操作了,而且最好是去配置hadoop的home,当然可以直接将hadoop的配置文件放在hbase的配置文件目录下,不过都不如直接配置hadoop的环境变量方便

三、用scp将HBase远程发送到其他集群节点

四、启动的方式上,和单例启动基本一致,对于备用的主节点,你可以动态在其他任意一个hbase节点上运行 hbase-daemon.sh start master命令

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/11 16:20:03

电商平台mt-v/mt-r加密算法与MT-Device-ID逆向分析

1. 项目背景与核心挑战最近在研究某电商平台的数据交互机制时&#xff0c;发现其客户端采用了名为mt-v和mt-r的加密算法对通信数据进行保护&#xff0c;同时配合MT-Device-ID作为设备标识。这种组合加密方式在移动端应用中越来越常见&#xff0c;但相关的技术文档却很少公开。作…

作者头像 李华
网站建设 2026/8/11 16:19:09

AI 测试平台部署调测文档

AI 测试平台部署调测文档 1. 文档基础信息 项目内容文档名称AI 测试平台部署调测文档本地开发路径D:\机器学习资料\ai_test_platform_By_skill远程服务器***.***.***.***(服务器EIP)远程账号root / (服务器root密码)远程部署目录/home/admin/ai_test_platform预制管理员账号a…

作者头像 李华
网站建设 2026/8/11 16:17:09

从数据到决策:监测平台如何将“水下照片”变为“治理智慧”

在水生态监测领域&#xff0c;高频次的原位成像采集为数据积累奠定了坚实基础&#xff0c;而真正释放数据价值的&#xff0c;在于将海量图像高效转化为可量化、可追溯的决策信息。一台水下浮游生物成像仪每日产出逾万张原位图像&#xff0c;年累计达数百万级——这既是视觉信息…

作者头像 李华
网站建设 2026/8/11 16:15:33

单片机毕设选题推荐:基于 STM32 的 LCD1602 燃气浓度实时监测联动控制系统 基于单片机阈值可调型燃气火灾声光报警平台设计(017602)

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于嵌入式单片机&#xff0c;Java、小程序技术领域和毕业项目实战 ✌️…

作者头像 李华
网站建设 2026/8/11 16:13:03

2025年系统集成项目管理工程师考试应用技术真题(第二批次)

文章目录风险分类。风险应对策略。整体项目风险应对策略规划采购管理【项目采购管理】&#xff1a;总价合同、成本补偿合同。SPI。11.13 制定预算【项目成本管理③】&#xff1a;成本基准总预算-管理储备。制定项目章程过程的输入。实施整体变更控制。项目管理计划。项目最终报…

作者头像 李华
网站建设 2026/8/11 16:05:31

小红的数组操作【牛客tracker 每日一题】

小红的数组操作 时间限制&#xff1a;1 秒 空间限制&#xff1a;1024 MB 网页链接 牛客tracker 牛客tracker & 每日一题&#xff0c;完成每日打卡&#xff0c;即可获得牛币。获得相应数量的牛币&#xff0c;能在【牛币兑换中心】&#xff0c;换取相应奖品&#xff01;助力…

作者头像 李华