news 2026/5/12 8:57:45

解决hbase配置过程 shell命令不可用问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
解决hbase配置过程 shell命令不可用问题

输入shell命令不可用

日志反复出现的FanOutOneBlockAsyncDFSOutputHelperIllegalArgumentException是一个经典的 HBase 2.4.x 与 Hadoop 3.3.x 的兼容性问题。

这是因为 HBase 在使用异步刷新(AsyncFS)写 WAL 日志时,与 Hadoop 3.x 内部的 Protobuf 处理方式发生了冲突。这就是为什么输入jps HMaster 虽在,但节点永远处于“正在初始化”且无法正常提供服务的原因。

解决步骤:

由于直接执行停止hbase命令会卡顿省略号很久

/export/server/hbase/bin/stop-hbase.sh

所以用杀死进程来清空之前错误的配置

1. 强制清理残留进程

既然stop-hbase.sh无效,请先彻底清理环境:

# 杀掉 node1 上的所有 HBase 相关进程 ps -ef | grep hbase | grep -v grep | awk '{print $2}' | xargs kill -9

如果在其他节点(node2, node3)也有进程,请同步清理。

2. 修改hbase-site.xml配置(关键!!!!)

需要关闭导致报错的“异步 WAL 写入”功能,让 HBase 使用传统的同步方式。

编辑文件:vi /export/server/hbase/conf/hbase-site.xml

<configuration>标签内添加以下属性:

<property> <name>hbase.wal.provider</name> <value>filesystem</value> </property>
  • 同步配置:如果有多个节点,请确保所有节点的hbase-site.xml都做了这个修改。

3.zkCli.sh也需要清空配置
/export/server/zookeeper/bin/zkCli.sh
  • 进入后执行清理(防止旧的 Master 锁干扰):

    deleteall /hbase quit
4. 重新启动并验证

按顺序启动:

  1. 启动 HDFS 和 ZooKeeper(如果之前关了的话)。

  2. 启动 HBase:

    start-hbase.sh
  3. 验证进程:在 node1 执行jps,确保HMasterHRegionServer同时存在。

  4. 验证 Shell:等待约 20 秒,进入hbase shell再次执行status。

  5. 截图成功

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/12 8:57:41

8、高效管理打印机资源:Windows 2000 服务器打印服务指南

高效管理打印机资源:Windows 2000 服务器打印服务指南 1. 打印机管理基础 1.1 相关术语 在探讨 Windows 2000 打印服务时,首先需要明确几个关键术语: - 打印设备 :实际执行打印任务的硬件,可通过直接电缆连接或网络连接到打印服务器。 - 打印服务器 :管理网络打…

作者头像 李华
网站建设 2026/5/3 17:17:44

19、利用DFS共享文件资源的全面指南

利用DFS共享文件资源的全面指南 1. DFS简介 分布式文件系统(DFS)是Windows 2000 Server的一个组件,它让共享文件资源的管理和访问变得更加简单。DFS通过将可用的共享资源整合到一个单一的逻辑分层命名空间中,简化了用户对网络文件的访问,用户无需知道所需文件存于哪台服…

作者头像 李华
网站建设 2026/5/4 22:21:50

3、构建首个项目全攻略

构建首个项目全攻略 1. 项目概述与准备 我们即将开启一个完整应用的构建之旅,这个应用是一个小测验程序。其流程为:首屏展示一些学科,玩家选择一个学科后,会出现一道有四个选项的选择题。若玩家点击正确答案,将进入祝贺页面;若点击错误答案,则会显示游戏结束页面。此应…

作者头像 李华
网站建设 2026/5/4 20:54:08

49、Windows系统常见错误案例分析与解决

Windows系统常见错误案例分析与解决 在使用Windows系统的过程中,我们难免会遇到各种错误。这些错误可能会让我们感到困惑,但通过一些专业的工具和方法,我们往往能够找到问题的根源并解决它们。下面将通过几个具体的案例来详细介绍如何解决这些问题。 1. 文件正在使用错误案…

作者头像 李华
网站建设 2026/5/7 21:58:27

30、虚拟机与站点恢复能力技术解析

虚拟机与站点恢复能力技术解析 1. 虚拟机迁移技术 虚拟机迁移是保障系统灵活性和可用性的重要手段,下面将详细介绍几种常见的虚拟机迁移方式。 1.1 无共享 Hyper - V 实时迁移 无共享 Hyper - V 实时迁移允许将运行中的虚拟机从一个 Hyper - V 主机迁移到另一个 Hyper - V…

作者头像 李华
网站建设 2026/5/3 0:19:39

38、Active Directory Federation Services实践指南

Active Directory Federation Services实践指南 1. 引言 在企业网络环境中,Active Directory Federation Services(AD FS)是实现跨组织身份验证和访问管理的重要工具。本文将通过一系列实践练习,详细介绍如何配置和部署AD FS相关服务,包括准备森林、配置DNS转发、部署AD…

作者头像 李华