全网 Service 不通与网络转发丢包排查周度合辑

全网 Service 不通与网络转发丢包排查周度合辑

在第二周的 Kubernetes 生产排障实录中，我们针对全网跨集群、跨节点通信中出现的几起典型疑难网络故障进行了地毯式的排查与彻底整改。

从 CoreDNS 偶发 5 秒延迟与 conntrack 竞态丢包，到 IPVS 模式下 UDP 僵尸会话保持引发的长达 5 分钟超时；从节点磁盘根分区满载（DiskPressure）诱发的 Pod 级联驱逐，到 VXLAN 跨节点 50 字节头部开销引发的 MTU 错位大包黑洞……每一个故障案例都横跨了 Linux 操作系统内核、虚拟化网络设备与 Kubernetes 控制面的深水区。

本文作为第二周 Kubernetes 排障实录的收官合辑，系统梳理这四大经典网络故障的物理根因、现场定位命令与架构级根治防范矩阵。

第二周四大经典 Kubernetes 网络排障案例全景图

┌─────────────────────────────────────────────────────────────┐ │ 故障 1: CoreDNS 偶发 5 秒超时 (glibc A/AAAA 并发查询丢包) │ │ - 根因: 并发 UDP 触发内核 conntrack NAT 表项插入竞态冲突 │ │ - 根治: 部署 NodeLocal DNSCache 绕过 NAT + single-request-reopen │ ├─────────────────────────────────────────────────────────────┤ │ 故障 2: kube-proxy IPVS UDP 会话超时丢包 (已下线 Pod 幽灵转发)│ │ - 根因: IPVS 默认 UDP 超时长达 300s，且未开启下线即销毁 │ │ - 根治: 开启 net.ipv4.vs.expire_nodest_conn=1 + 缩短超时至 30s │ ├─────────────────────────────────────────────────────────────┤ │ 故障 3: 跨节点 VXLAN 大包超时断连 (小包通、大包静默丢弃) │ │ - 根因: CNI 误设 MTU=1500，叠加 50 字节头部后超标且带 DF 标记│ │ - 根治: 强制收敛 CNI 网卡 MTU 至 1450 (或开启 9000 巨型帧) │ ├─────────────────────────────────────────────────────────────┤ │ 故障 4: StatefulSet 挂载卡死在 ContainerCreating │ │ - 根因: 旧节点失联未 Detach，云厂商单节点排他挂载拒绝 │ │ - 根治: 开启 Non-Graceful Node Shutdown + 强制清理 VolumeAttachment │ └─────────────────────────────────────────────────────────────┘

案例深度复盘与快速诊断指令清单

1. CoreDNS 偶发 5 秒超时与 conntrack 竞态

• 现场表象：微服务日志中每隔数分钟出现一次整整 5.00 秒的 RPC/HTTP 建连超时。
• 快速诊断指令：

  # 检查内核 conntrack 插入失败与丢包计数 nstat -z | grep -E "ConntrackFull|IpInDiscards" # 探测特定域名解析耗时 time dig @10.96.0.10 order-service.prod.svc.cluster.local

• 架构根治：全网工作节点覆盖部署NodeLocal DNSCache（虚拟 IP169.254.20.10），利用 TCP 长连接复用与本地解析彻底消除跨节点 conntrack 冲突。

2. IPVS UDP 僵尸会话保持与 5 分钟丢包

• 现场表象：UDP 服务（Syslog/DNS）后端 Pod 滚动重启后，客户端在 5 分钟内持续丢包。
• 快速诊断指令：

  # 查看 IPVS 当前连接表中指向已销毁 Pod IP 的僵尸条目 ipvsadm -lnc | grep "UDP" | grep "<已销毁Pod_IP>"

• 架构根治：在/etc/sysctl.d/99-ipvs.conf中开启net.ipv4.vs.expire_nodest_conn = 1，并在kube-proxyConfigMap 中将 UDP 超时时间从 300s 压缩至 30s。

3. 跨节点 VXLAN 隧道 MTU 错位与大包黑洞

• 现场表象：ping包与短文本正常，传输 > 1450 字节的 JSON 报文或大文件时瞬间卡死。
• 快速诊断指令：

  # 在 Pod 内发送带 DF 标记的大包探测物理路径 MTU ping -c 3 -M do -s 1472 <跨节点Pod_IP> # 查看宿主机与 CNI 网卡 MTU ip link show | grep mtu

• 架构根治：将 Flannel / Calico CNI 的 MTU 硬性对齐为1450（预留 50 字节 VXLAN 封装头），消除报文在物理网卡处的静默丢弃。

4. StatefulSet 存储卷挂载卡在 ContainerCreating

• 现场表象：Pod 漂移至新节点后报Multi-Attach error for volume，卡死数十分钟。
• 快速诊断指令：

  # 查看死锁在旧节点上的挂载声明 kubectl get volumeattachment | grep "<PV_NAME>"

• 架构根治：开启 Kubernetes 非优雅节点快速下线（Non-Graceful Node Shutdown）特性，配合kubectl delete volumeattachment <name> --force毫秒级解除死锁。

第二周网络治理成效大盘

在第二周全面实施网络层四项架构根治后，全集群在随后的全链路极限压测中交出了一份优异的成绩单：

总结

网络是 Kubernetes 体系中最复杂、最底层的血液循环系统。
通过将理论机理与硬核排障实践相结合，我们彻底清除了系统底层的四大网络暗礁，为即将到来的大促洪峰构建了一条畅通无阻、坚不可摧的云原生高速公路。