news 2026/6/23 14:47:44

ceph平台-未及时移除故障osd导致根目录100%问题的故障记录

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ceph平台-未及时移除故障osd导致根目录100%问题的故障记录

项目场景:

一个甲方的ceph集群,osd日志拉满导致根目录100%


问题描述

甲方联系说有点问题,远程处理。
首先登陆到控制节点发现根目录满了,检查定位到日志目录,所有osd日志大小几乎一致。
然后检查所有存储节点都有类似问题。
打开日志文件分析原因,下面放三个osd日志的截图



全部在16:57 指向到secret_id:44281


原因分析:

千问的回答

  1. auth: could not find secret_id=44281
    含义:Ceph Monitor(或 OSD)在验证某个客户端身份时,找不到 ID 为 44281 的密钥。
    ✅ 这个 secret_id 是 Ceph 内部生成的唯一标识,用于关联一个实体(如 osd.5)的认证密钥。
  2. cephx: verify_authorizer could not get service secret for service osd secret_id=44281
    含义:使用 cephx 协议验证时,无法获取对应 osd 服务的密钥。
    ❌ 表明:该 OSD 的 keyring 已被删除、损坏,或未正确同步到 MON 数据库。
  3. .accept: got bad authorizer
    含义:连接被拒绝,因为客户端提供的认证票据无效。
    ⚠️ 通常出现在:
    OSD 使用旧密钥尝试连接 MON
    OSD 被删除后仍在运行
    keyring 文件被手动修改或丢失

操作

感觉是坏掉的osd没有及时删除的问题。

第一步: 先处理根目录100%
所有ceph节点的所有osd日志追空

第二步:执行ceph osd命令
ceph命令没有返回,检查mon服务,全死。挨个mon节点重启mon服务

第三步:通过osd相关命令找到坏掉的osd,然后完全删除掉
执行删除命令后,集群进入恢复模式

第四步:观察集群恢复,同时不定期检查osd日志大小,看是否还有异常

forXin{1..14};dosshXX.XXX.X.$X'hostname ; rm -rf /var/log/ceph/*.gz ;ls -ln -h /var/log/ceph/ ';done

第五步:等待集群恢复完毕后,重启所有osd服务

第六步:持续多天检查osd日志大小和集群状态


解决方案:

osd坏了及时换盘,没有的话要及时完全删除掉

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/21 7:56:03

PPP与PPPoE协议介绍

我们之前学习的大多是局域网LAN内常用的技术,但是我们总是需要访问Internet,需要访问百度、B站等等,那怎样让局域网访问外面的资源呢,其实我们已经学习过了NAT转换,但是那对于广域网的架构我们还是需要学习下的。一、广…

作者头像 李华
网站建设 2026/5/30 21:14:30

革新!AI应用架构师引领AI驱动元宇宙教育的创新变革

AI应用架构师的革新使命:构建AI驱动的元宇宙教育新生态 关键词 AI应用架构、元宇宙教育、数字孪生教师、多模态交互、个性化学习引擎、教育算力、场景化实践 摘要 当"元宇宙"从概念走向落地,当"AI"从工具升级为"智能伙伴"…

作者头像 李华
网站建设 2026/6/10 12:52:51

从单模态到多模态:AI原生审核技术的融合创新

从单模态到多模态:AI原生审核技术的融合创新 关键词:多模态AI、内容审核、跨模态对齐、融合模型、AI原生系统 摘要:当短视频里的暴力画面配上煽动性配音,当电商商品图隐藏虚假宣传文字,当社交平台评论区用“黑话”规避文本过滤——传统单模态审核技术正面临前所未有的挑…

作者头像 李华
网站建设 2026/6/22 13:44:02

Vue day8

1.state状态2.mutations3.mapMutations4.actions5.mapActions6.getters7.模块module

作者头像 李华
网站建设 2026/6/10 4:21:54

Java实习模拟面试深度复盘:蔚来汽车一面全解析 —— 高并发转账手撕、synchronized vs ReentrantLock 核心对比、“最牛技术问题”实战拆解

Java实习模拟面试深度复盘:蔚来汽车一面全解析 —— 高并发转账手撕、synchronized vs ReentrantLock 核心对比、“最牛技术问题”实战拆解 前言 本文完整还原并深度剖析笔者参加蔚来汽车(NIO)Java后端实习生岗位第一轮技术面试的真实全过程。…

作者头像 李华