K8s集群分布式存储快照恢复实战演练实操
技术栈：Kubernetes v1.32.13 + Rocky Linux 8.6 + 存储快照与克隆 + Containerd 1.7.x
操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案
K8s集群分布式存储快照恢复实战演练实操
操作环境
K8s 集群 3 节点：k8s-master(192.168.1.10), k8s-node1(192.168.1.11), k8s-node2(192.168.1.12)，K8s 版本 v1.32.13
存储类型：存储快照与克隆，已配置对应 StorageClass 支持动态供给，PV/PVC 资源已就绪
容器运行时：Containerd 1.7.x，操作系统 Rocky Linux 8.6，内核版本已适配存储需求
集群内存在多命名空间/多租户业务，存储资源需要统一规范化管理，包含 PV/PVC/StorageClass/ResourceQuota 等资源
已配置监控告警体系（Prometheus + Grafana），存储指标可采集，具备备份恢复能力
对接原理
K8s集群分布式存储快照恢复实战演练实操是 K8s 集群存储系统运维中的核心操作场景。K8s 存储体系通过 PV（PersistentVolume）和 PVC（PersistentVolumeClaim）实现存储资源的抽象与解耦，StorageClass 提供动态存储供给能力，CSI（Container Storage Interface）统一存储驱动接口。存储快照与克隆作为具体的存储后端，为集群中的有状态应用提供持久化存储能力。运维操作的核心目标是确保存储资源的可用性、性能、安全性和可管理性：通过规范化的 PV/PVC 管理确保持久化数据不丢失，通过 StorageClass 和动态供给提升资源分配效率，通过配额和多租户隔离实现资源管控，通过监控告警和备份容灾保障业务连续性，通过自动化脚本和 SOP 提升运维效率。所有操作需遵循业务无感知原则，对正在使用的存储资源采用灰度和滚动方式，避免影响业务运行。
详细步骤
1. 存储资源现状盘点与分类
# 1. 盘点所有 PV 资源 kubectl get pv -o wide kubectl get pv -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,CAPACITY:.spec.capacity.storage,ACCESSMODES:.spec.accessModes[*],RECLAIMPOLICY:.spec.persistentVolumeReclaimPolicy,STORAGECLASS:.spec.storageClassName,AGE:.metadata.creationTimestamp' # 2. 盘点所有 PVC 资源 kubectl get pvc --all-namespaces -o wide kubectl get pvc --all-namespaces -o custom-columns='NAMESPACE:.metadata.namespace,NAME:.metadata.name,STATUS:.status.phase,VOLUME:.spec.volumeName,CAPACITY:.status.capacity.storage,STORAGECLASS:.spec.storageClassName,ACCESSMODES:.spec.accessModes[*],AGE:.metadata.creationTimestamp' # 3. 盘点 StorageClass kubectl get storageclass -o wide kubectl describe storageclass # 4. 按命名空间/租户分类统计 for ns in $(kubectl get ns -o jsonpath='{.items[*].metadata.name}'); do count=$(kubectl get pvc -n $ns --no-headers 2>/dev/null | wc -l) if [ "$count" -gt 0 ]; then echo "命名空间 $ns: $count 个PVC" kubectl get pvc -n $ns -o wide fi done # 5. 识别异常状态资源 echo "=== Pending 状态 PVC ===" kubectl get pvc --all-namespaces --field-selector=status.phase=Pending -o wide echo "=== Released 状态 PV ===" kubectl get pv --field-selector=status.phase=Released -o wide echo "=== Failed 状态 PV ===" kubectl get pv --field-selector=status.phase=Failed -o wide # 6. 导出盘点结果 kubectl get pv -o yaml > /tmp/pv_inventory_$(date +%Y%m%d).yaml kubectl get pvc --all-namespaces -o yaml > /tmp/pvc_inventory_$(date +%Y%m%d).yaml echo "盘点结果已导出到 /tmp/" 2. 制定操作方案与备份防护
# 1. 备份当前所有存储资源配置（操作前必做） kubectl get pv -o yaml > /tmp/pv_backup_$(date +%Y%m%d_%H%M%S).yaml kubectl get pvc --all-namespaces -o yaml > /tmp/pvc_backup_$(date +%Y%m%d_%H%M%S).yaml kubectl get storageclass -o yaml > /tmp/sc_backup_$(date +%Y%m%d_%H%M%S).yaml kubectl get resourcequota --all-namespaces -o yaml > /tmp/quota_backup_$(date +%Y%m%d_%H%M%S).yaml # 2. 备份存储后端数据（根据存储类型执行） # NFS 备份示例 # ssh root@nfs-server "tar czf /data/nfs_backup_$(date +%Y%m%d).tar.gz /data/nfs/shared/" # Ceph 备份示例 # ceph osd pool get volumes size # rbd snap create volumes/pvc-xxx@snapshot_$(date +%Y%m%d) # 3. 制定操作方案 cat > /tmp/storage_operation_plan.md << 'EOF' # 存储操作方案 ## 一、操作目标 ## 二、影响范围评估 ## 三、操作步骤与时间窗口 ## 四、回滚方案 ## 五、验证标准 ## 六、风险点与应对措施 EOF echo "操作方案模板已创建" # 4. 确认业务窗口（低峰期操作） echo "当前时间: $(date)" echo "建议在业务低峰期执行存储操作，避免影响业务" # 5. 通知相关业务方 # echo "存储运维操作通知" | mail -s "存储运维通知" admin@example.com
3. 执行存储资源规范化操作
# 1. 批量补全 PV/PVC 标签（示例） cat > /tmp/batch_label_storage.sh << 'SCRIPT' #!/bin/bash # 为所有 PV 补全标签 for pv in $(kubectl get pv -o jsonpath='{.items[*].metadata.name}'); do sc=$(kubectl get pv $pv -o jsonpath='{.spec.storageClassName}') kubectl label pv $pv storage-type=$sc managed-by=storage-team env=prod --overwrite 2>/dev/null done # 为所有 PVC 补全标签 for ns in $(kubectl get ns -o jsonpath='{.items[*].metadata.name}'); do for pvc in $(kubectl get pvc -n $ns -o jsonpath='{.items[*].metadata.name}' 2>/dev/null); do kubectl label pvc $pvc -n $ns namespace=$ns managed-by=storage-team env=prod --overwrite 2>/dev/null done done echo "标签批量补全完成" SCRIPT chmod +x /tmp/batch_label_storage.sh # /tmp/batch_label_storage.sh # 2. 规范化 StorageClass 参数（示例） # kubectl patch storageclass <sc-name> -p '{"allowVolumeExpansion": true}' # 3. 设置 ResourceQuota（示例） # cat > /tmp/quota.yaml << 'EOF' # apiVersion: v1 # kind: ResourceQuota # metadata: # name: storage-quota # namespace: <namespace> # spec: # hard: # requests.storage: "500Gi" # persistentvolumeclaims: "20" # EOF # kubectl apply -f /tmp/quota.yaml # 4. 清理闲置资源（先确认无业务引用） # 识别无 Pod 挂载的 PVC # for ns in $(kubectl get ns -o jsonpath='{.items[*].metadata.name}'); do # for pvc in $(kubectl get pvc -n $ns -o jsonpath='{.items[*].metadata.name}' 2>/dev/null); do # used=$(kubectl get pod -n $ns -o json 2>/dev/null | grep -c "persistentVolumeClaim.*$pvc") # if [ "$used" -eq 0 ]; then # echo "闲置PVC: $ns/$pvc" # fi # done # done # 确认后删除: kubectl delete pvc <name> -n <namespace> # 5. 执行具体操作（根据标题调整） echo "执行存储资源规范化具体操作..." echo "请根据操作方案执行具体步骤" 4. 存储性能调优与参数优化
# 1. 检查当前存储性能指标 kubectl top nodes # 检查磁盘 IO（需节点权限） # kubectl debug node/<node-name> -it --image=busybox -- iostat -x 1 5 # 2. 存储挂载参数调优（NFS 示例） # mount -o hard,nfsvers=4.1,rsize=1048576,wsize=1048576,timeo=600,retrans=3 nfs-server:/share /mnt/nfs # 3. 内核 IO 调度器调优 # 查看当前调度器 # cat /sys/block/sda/queue/scheduler # 设置为 deadline（适合 SSD）或 cfq（适合 HDD） # echo deadline > /sys/block/sda/queue/scheduler # 4. 文件系统挂载参数优化 # ext4: noatime,nodiratime,barrier=0 # xfs: noatime,nodiratime,allocsize=64m # mount -o remount,noatime,nodiratime /dev/sdb1 /data # 5. StorageClass 参数调优 # kubectl patch storageclass <sc-name> -p '{"parameters": {"volumeBindingMode": "WaitForFirstConsumer"}}' # 6. 验证调优效果 # dd if=/dev/zero of=/mnt/storage/testfile bs=1G count=1 oflag=direct # dd if=/mnt/storage/testfile of=/dev/null bs=1G iflag=direct # 清理测试文件 # rm -f /mnt/storage/testfile 5. 存储监控告警与巡检
# 1. 检查存储相关监控指标 # PV/PVC 状态 kubectl get pv --no-headers | awk '{print $1, $2}' | sort | uniq -c kubectl get pvc --all-namespaces --no-headers | awk '{print $2, $3}' | sort | uniq -c # 2. 存储容量监控（需节点权限或监控系统） # df -h | grep -E '/data|/mnt|nfs|ceph' # 检查 PVC 实际使用量（需进入 Pod） # kubectl exec -it <pod-name> -- df -h | grep -E '/data|/mnt' # 3. 配置存储告警规则（Prometheus 示例） cat > /tmp/storage_alerts.yaml << 'EOF' groups: - name: storage-alerts rules: - alert: PVCPending expr: kube_persistentvolumeclaim_status_phase{phase="Pending"} > 0 for: 5m labels: severity: warning annotations: summary: "PVC 处于 Pending 状态" - alert: StorageCapacityHigh expr: (1 - kubelet_volume_stats_available_bytes / kubelet_volume_stats_capacity_bytes) * 100 > 85 for: 5m labels: severity: critical annotations: summary: "存储卷使用率超过 85%" EOF echo "告警规则模板已创建" # 4. 定时巡检脚本 cat > /tmp/storage_audit.sh << 'SCRIPT' #!/bin/bash echo "=== 存储巡检 $(date) ===" echo "--- PV 状态统计 ---" kubectl get pv --no-headers | awk '{print $2}' | sort | uniq -c echo "--- PVC 状态统计 ---" kubectl get pvc --all-namespaces --no-headers | awk '{print $3}' | sort | uniq -c echo "--- StorageClass 列表 ---" kubectl get storageclass --no-headers echo "--- 异常 PVC ---" kubectl get pvc --all-namespaces --field-selector=status.phase=Pending -o wide 2>/dev/null echo "--- 异常 PV ---" kubectl get pv --field-selector=status.phase=Released -o wide 2>/dev/null kubectl get pv --field-selector=status.phase=Failed -o wide 2>/dev/null echo "=== 巡检完成 ===" SCRIPT chmod +x /tmp/storage_audit.sh /tmp/storage_audit.sh # 5. 设置定时巡检（CronJob 或 crontab） # crontab -e # 0 2 * * * /tmp/storage_audit.sh >> /var/log/storage_audit.log 2>&1 6. 验证操作结果与业务无感知
# 1. 验证 PV/PVC 状态 kubectl get pv -o wide | head -20 kubectl get pvc --all-namespaces -o wide | head -20 # 预期：无 Pending/Failed/Released 异常状态（或已确认保留） # 2. 验证 StorageClass 配置 kubectl get storageclass -o wide kubectl describe storageclass <sc-name> | grep -E 'Parameters|Reclaim|Expansion|Mount' # 预期：参数已规范化，allowVolumeExpansion 符合预期 # 3. 验证 ResourceQuota kubectl get resourcequota --all-namespaces -o wide # 预期：各命名空间配额已设置，使用量正常 # 4. 验证标签补全 kubectl get pv -L storage-type,managed-by,env --no-headers | head -10 kubectl get pvc --all-namespaces -L namespace,managed-by,env --no-headers | head -10 # 预期：标签已补全 # 5. 业务无感知验证（抽查正在使用的 PVC） echo "=== 正在使用的 PVC（抽查）===" kubectl get pvc --all-namespaces -o wide | grep Bound | head -5 echo "=== 关联 Pod 状态（抽查）===" kubectl get pod --all-namespaces -o wide | grep Running | head -10 # 预期：业务 Pod 均正常 Running，无因存储操作导致的异常 # 6. 存储读写验证（进入业务 Pod 测试） # kubectl exec -it <pod-name> -- touch /data/test_write_$(date +%Y%m%d).txt # kubectl exec -it <pod-name> -- ls -la /data/test_write_*.txt # kubectl exec -it <pod-name> -- rm -f /data/test_write_*.txt # 预期：读写正常，无权限或挂载问题 # 7. 生成操作报告 echo "=== 存储操作报告 ===" > /tmp/storage_operation_report.txt echo "操作时间: $(date)" >> /tmp/storage_operation_report.txt echo "操作前 PV 数量: $(cat /tmp/pv_backup_*.yaml 2>/dev/null | grep -c 'kind: PersistentVolume')" >> /tmp/storage_operation_report.txt echo "操作后 PV 数量: $(kubectl get pv --no-headers | wc -l)" >> /tmp/storage_operation_report.txt echo "操作前 PVC 数量: $(cat /tmp/pvc_backup_*.yaml 2>/dev/null | grep -c 'kind: PersistentVolumeClaim')" >> /tmp/storage_operation_report.txt echo "操作后 PVC 数量: $(kubectl get pvc --all-namespaces --no-headers | wc -l)" >> /tmp/storage_operation_report.txt echo "异常状态 PV: $(kubectl get pv --field-selector=status.phase=Released --no-headers 2>/dev/null | wc -l) Released, $(kubectl get pv --field-selector=status.phase=Failed --no-headers 2>/dev/null | wc -l) Failed" >> /tmp/storage_operation_report.txt echo "异常状态 PVC: $(kubectl get pvc --all-namespaces --field-selector=status.phase=Pending --no-headers 2>/dev/null | wc -l) Pending" >> /tmp/storage_operation_report.txt cat /tmp/storage_operation_report.txt
验证流程
# 1. PV 状态验证 kubectl get pv -o wide # 预期：所有 PV 状态正常（Bound/Available），无 Failed # 2. PVC 状态验证 kubectl get pvc --all-namespaces -o wide # 预期：所有 PVC 状态为 Bound，无 Pending/Lost # 3. StorageClass 验证 kubectl get storageclass -o wide # 预期：StorageClass 存在，参数符合规范 # 4. 业务 Pod 验证 kubectl get pod --all-namespaces -o wide | grep -v Running | head -10 # 预期：无因存储问题导致的异常 Pod # 5. 存储读写验证 # kubectl exec -it <pod> -- touch /data/test.txt && echo "读写正常" # 预期：读写操作成功 # 6. 监控指标验证 # 检查 Prometheus 存储指标是否正常采集 # 预期：存储容量、IOPS、延迟等指标可查询 # 7. 操作报告验证 cat /tmp/storage_operation_report.txt # 预期：报告包含操作前后对比，无异常状态
排错方案
快照创建失败：检查 VolumeSnapshotClass、CSI 驱动快照支持、存储后端快照功能、PV 状态、RBAC 权限
快照数据损坏：检查快照创建时应用一致性、存储后端快照完整性、快照恢复验证、定期校验
快照占用空间过大：检查快照保留策略、过期快照清理、快照增量机制、存储容量规划
克隆卷创建失败：检查快照状态、存储后端克隆支持、克隆卷参数、容量、StorageClass
克隆卷数据隔离问题：检查克隆卷读写权限、数据独立性、与源卷关联、删除影响
快照恢复数据不一致：检查恢复流程、应用停机、快照时间点、数据校验、恢复后验证
快照过期未自动清理：检查 VolumeSnapshot 保留策略、定时清理任务、CSI 驱动支持、手动清理
快照批量管理困难：检查快照命名规范、标签管理、批量脚本、台账记录、自动化工具
