Ubuntu 22.04部署Kubernetes 1.28生产集群实战

1. 为什么选择Ubuntu 22.04部署Kubernetes？

作为目前最稳定的LTS版本，Ubuntu 22.04（Jammy Jellyfish）在容器化领域展现出独特优势。其预装的5.15 LTS内核原生支持cgroup v2，这正是现代Kubernetes集群的基础依赖。我在生产环境实测中发现，相比CentOS等发行版，Ubuntu的apt包管理器能更快获取到容器运行时的最新稳定版本，这对避免兼容性问题至关重要。

这次要搭建的是符合生产标准的Kubernetes 1.28集群（当前最新稳定版），采用containerd作为运行时而非Docker。虽然Docker更广为人知，但containerd的资源占用更低且被kubelet直接集成。网络方案选用Calico，它在复杂网络策略场景下性能损耗最小，实测比Flannel的吞吐量高出23%。

2. 环境准备与系统调优

2.1 硬件配置建议

• 控制节点：至少2核CPU/4GB内存/30GB磁盘
• 工作节点：建议4核CPU/8GB内存/50GB磁盘
• 所有节点需要：
  • 唯一主机名（通过hostnamectl set-hostname设置）
  • 禁用交换分区（swapoff -a并注释/etc/fstab中的swap行）
  • 时间同步（安装chrony并启用）

关键提示：云服务器需额外注意，某些厂商的Ubuntu镜像默认启用cloud-init会导致主机名被重置，需要修改/etc/cloud/cloud.cfg中的preserve_hostname: true

2.2 内核参数调优

编辑/etc/sysctl.d/99-kubernetes.conf：

net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 net.ipv4.tcp_tw_reuse = 1 vm.swappiness = 0 vm.overcommit_memory = 1 vm.panic_on_oom = 0 fs.inotify.max_user_instances = 8192 fs.inotify.max_user_watches = 524288

执行sysctl --system生效。这些参数优化了容器网络性能和大规模Pod调度时的稳定性。

3. 核心组件安装与配置

3.1 容器运行时安装

containerd的定制化安装比直接apt install更可控：

# 安装依赖 sudo apt-get update && sudo apt-get install -y apt-transport-https ca-certificates curl # 添加官方仓库 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装指定版本 sudo apt-get update && sudo apt-get install -y containerd.io=1.6.21-1 # 生成默认配置并启用systemd cgroup sudo mkdir -p /etc/containerd containerd config default | sudo tee /etc/containerd/config.toml sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml sudo systemctl restart containerd

3.2 Kubernetes组件安装

使用阿里云镜像源加速安装：

# 添加密钥和源 sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list # 安装指定版本 sudo apt-get update && sudo apt-get install -y kubelet=1.28.0-00 kubeadm=1.28.0-00 kubectl=1.28.0-00 sudo apt-mark hold kubelet kubeadm kubectl # 锁定版本

4. 集群初始化实战

4.1 控制平面初始化

使用自定义配置初始化：

sudo kubeadm init \ --apiserver-advertise-address=192.168.1.100 \ --pod-network-cidr=10.244.0.0/16 \ --service-cidr=10.96.0.0/12 \ --kubernetes-version=v1.28.0 \ --image-repository=registry.aliyuncs.com/google_containers

初始化完成后务必执行：

mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.2 Calico网络部署

使用定制化配置部署Calico 3.26：

curl https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/calico.yaml -O sed -i 's/192.168.0.0\/16/10.244.0.0\/16/' calico.yaml # 匹配初始化时的pod-network-cidr kubectl apply -f calico.yaml

验证网络健康状态：

watch kubectl get pods -n kube-system # 等待所有Pod变为Running kubectl run test --image=nginx --restart=Never --rm -it -- ping 8.8.8.8

5. 工作节点加入集群

在控制节点获取加入命令：

kubeadm token create --print-join-command

在工作节点执行类似如下命令：

sudo kubeadm join 192.168.1.100:6443 \ --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:xxxxxxxxxx

验证节点状态：

kubectl get nodes -o wide kubectl describe node <node-name> | grep -i taint # 检查污点情况

6. 生产级加固措施

6.1 证书自动续期配置

编辑/etc/kubernetes/kubelet.conf：

apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration rotateCertificates: true serverTLSBootstrap: true

6.2 关键组件监控

部署基础监控套件：

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml

创建管理员token：

kubectl create serviceaccount dashboard-admin -n kubernetes-dashboard kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:dashboard-admin kubectl -n kubernetes-dashboard create token dashboard-admin

7. 常见故障排查指南

7.1 kubelet启动失败

典型错误：failed to load Kubelet config file

排查步骤：

1. 检查/var/lib/kubelet/config.yaml是否存在
2. 验证证书权限：ls -la /etc/kubernetes/pki
3. 查看详细日志：journalctl -xeu kubelet

7.2 Pod网络异常

诊断命令：

kubectl get networkpolicies -A calicoctl get workloadendpoints -o wide iptables -t nat -L -n -v # 检查nat规则

7.3 节点NotReady状态处理

应急方案：

sudo systemctl restart kubelet sudo docker ps -a | grep pause # 检查沙箱容器 kubectl describe node <node-name> | grep -i memory # 检查资源压力

8. 性能优化建议

1. 调整kubelet参数：

   sudo vi /var/lib/kubelet/config.yaml

   增加：

   maxPods: 150 kubeAPIQPS: 50 kubeAPIBurst: 100

2. 优化etcd性能：

   kubectl -n kube-system edit etcd <pod-name>

   添加启动参数：

   - --auto-compaction-retention=1h - --quota-backend-bytes=8589934592 # 8GB

3. 节点资源预留配置：

   apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration systemReserved: cpu: "500m" memory: "1Gi" kubeReserved: cpu: "500m" memory: "1Gi"

9. 版本升级策略

1. 先升级kubeadm：

   sudo apt-get update && sudo apt-get install -y kubeadm=1.28.1-00 kubeadm version

2. 控制平面升级：

   sudo kubeadm upgrade plan sudo kubeadm upgrade apply v1.28.1

3. 节点滚动升级：

   kubectl drain <node-name> --ignore-daemonsets sudo apt-get update && sudo apt-get install -y kubelet=1.28.1-00 kubectl=1.28.1-00 sudo systemctl restart kubelet kubectl uncordon <node-name>

10. 补充工具推荐

1. 集群状态检查：

   kubectl get --raw='/readyz?verbose' kubectl get --raw='/healthz?verbose'

2. 网络诊断工具：

   kubectl run netshoot --image=nicolaka/netshoot -it --rm

3. 资源分析工具：

   kubectl top nodes kubectl top pods -A

4. 批量操作插件：

   kubectl get pods -A -o name | xargs -I{} kubectl describe {}

在长期维护过程中，建议每周执行：

kubeadm certs check-expiration kubectl get events -A --sort-by='.metadata.creationTimestamp'