news 2026/10/6 22:56:37

记一次集群网络异常后节点启动失败处理情况

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
记一次集群网络异常后节点启动失败处理情况

故障背景概述

某集群环境因网络异常,导致整个集群网络中断。待网络恢复后,对集群环境状态进行全面核查,发现集群节点出现差异化异常,具体表现为节点一集群状态正常但数据库异常,节点二集群无法正常启动。

故障现象详情

网络恢复后,运维人员对集群两个节点分别进行状态检查,具体现象如下:

  1. 节点一(正常节点):
    执行crsctl stat res -t命令后,显示集群整体状态正常,但数据库服务处于停止状态,未随集群自动恢复。但启动数据库
  2. 节点二(异常节点):
    集群状态显示异常,尝试重启节点二集群服务时,启动失败,无法恢复正常运行。

故障排查过程

日志分析定位方向

针对节点二集群无法启动的问题,优先查看集群日志,提取关键日志信息如下(日志时间:2026-02-08 21:40:09.550):

2026-02-08 21:40:09.550: [GIPCHALO][1754568448] gipchaLowerSend: deffering startup of hdr 0x7fc0540191c8 { len 232, seq 0, type gipchaHdrTypeSend (1), lastSeq 0, lastAck 0, minAck 0, flags 0x0, srcLuid 00000000-00000000, dstLuid 00000000-00000000, msgId 0 }, node 0x7fc05400ba70 { host 'racdg1', haName '6679-1757-bd75-cd56', srcLuid fa3097b8-9355029c, dstLuid 00000000-00000000 numInf 0, contigSeq 0, lastAck 0, lastValidAck 0, sendSeq [211 : 211], createTime 6527914, sentRegister 1, localMonitor 0, flags 0x4 }

结合日志关键字段分析,推测故障核心原因大概率为网络通信异常:节点二(racdg2)无法找到可用的网络接口,用于连接目标节点一(racdg1),导致集群启动过程中节点间通信失败,进而启动受阻。

网络接口与连通性验证

基于日志定位的网络通信问题,重点对节点二的网络接口及节点间连通性进行验证:

  1. 网卡状态检查:通过查看两个节点网卡信息,确认所有网卡均处于正常状态,无网卡离线、禁用等异常情况,排除网卡硬件或配置异常导致的通信问题。

  2. 节点间连通性测试:在节点二执行ping命令,测试与节点一的连通性,结果显示双方可正常ping通,节点间网络链路通畅,排除网络链路中断、路由异常等问题。

经过上述验证,节点二的网卡状态及节点间连通性均无异常,排除了基础网络故障的可能性,说明故障并非简单的网络链路或网卡问题。

故障处理参考

由于节点二的基础网络无异常,但集群仍无法启动,结合节点一集群状态正常、仅数据库挂掉的现象,推测故障根源为:网络中断后,节点一与节点二的集群通信同步异常,仅重启异常节点(节点二)无法解决节点间的通信同步问题,需同步重启正常节点(节点一)的集群服务,实现集群节点间的状态同步。

处理结果

节点一,节点二集群成功启动,两个节点的集群状态均显示正常;节点一的数据库服务启动后,运行稳定,集群整体恢复正常,业务可正常接入。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/5 9:46:48

Spring Boot 3 步完成日志脱敏,简单实用~

在我们写代码的时候,会书写许多日志代码,但是有些敏感数据是需要进行安全脱敏处理的。对于日志脱敏的方式有很多,常见的有:①使用conversionRule标签,继承MessageConverter ②书写一个脱敏工具类,在打印日志…

作者头像 李华
网站建设 2026/10/5 9:46:38

12.2 太牛了!批量传输技术竟然还能这样用?

太牛了!批量传输技术竟然还能这样用? 在WebSocket网关中,批量传输技术是提升系统吞吐量和降低网络开销的重要手段。通过将多个小消息合并为一个大消息进行传输,可以显著减少网络交互次数,提高传输效率。本章将深入探讨批量传输技术的实现原理和应用场景。 1. 批量传输概…

作者头像 李华
网站建设 2026/10/5 9:46:35

Spring AI Embedding 实战:从语义搜索到商品推荐系统

Spring AI Embedding 实战:从语义搜索到商品推荐系统 关键词:Spring AI / Embedding / 向量数据库 / PGVector / 推荐系统 / RAG 一、什么是 Spring AI Embedding Spring AI 中的 Embedding 技术核心在于将文本、图像等非结构化数据转化为高维向量(即 Embedding)。这些向量…

作者头像 李华
网站建设 2026/10/5 9:46:36

16.1 批量任务调度和心跳优化竟然还能这样做?

16.1 太震撼了!批量任务调度和心跳优化竟然还能这样做? 在分布式任务调度系统中,性能优化是确保系统能够处理大规模任务的关键。今天我们将深入探讨批量任务调度和心跳优化技术,这些技术能够显著提升系统的吞吐量和响应速度。 批量任务调度机制 批量任务调度是提升系统性…

作者头像 李华
网站建设 2026/10/6 20:32:53

java juc 01 进程与线程

进程和线程的概念 并行和并发的概念 线程基本应用ps :随便写写,今天就是开个新章对比维度进程(Process)线程(Thread)基本概念程序运行时的一个实例,用来加载指令、管理内存、管理 IO进程内部的一…

作者头像 李华
网站建设 2026/10/5 9:46:42

Ella陈嘉桦「艾拉主意」巡演南宁站两晚连唱 现场嗦粉打造出圈名场面

Ella 陈嘉桦「It’s Me 艾拉主意」巡演继长沙、杭州、广州、上海站后,持续保持场场秒罄、口碑爆棚的火爆势头。2026年2月7日至8日,这场音乐盛宴落地绿城南宁,于广西体育中心体育馆一连两晚盛大开唱。其中2月8日场是整轮巡演中的第十场演出&am…

作者头像 李华