一、Statefulset控制器:概念、原理解读
StatefulSet是为了管理有状态服务的问题而设计的。
有状态服务
StatefulSet是有状态的集合,管理有状态的服务,它所管理的Pod的名称不能随意变化。数据持久化的目录也是不一样,每一个Pod都有自己独有的数据持久化存储目录。比如MySQL主从、redis集群等。
无状态服务
RC、Deployment、DaemonSet都是管理无状态的服务,它们所管理的Pod的IP、名字,启停顺序等都是随机的。个体对整体无影响,所有pod都是共用一个数据卷的,部署的tomcat就是无状态的服务,tomcat被删除,在启动一个新的tomcat,加入到集群即可,跟tomcat的名字无关。
StatefulSet部分组成
Headless Service:用来定义pod网路标识,生成可解析的DNS记录
volumeClaimTemplates:存储卷申请模板,创建pvc,指定pvc名称大小,自动创建pvc,且pvc由存储类供应。
StatefulSet:管理pod的
Headless service
Headless service不分配clusterIP,headless service可以通过解析service的DNS,返回所有Pod的dns和ip地址 (只有statefulSet部署的Pod才有DNS地址),普通的service,只能通过解析service的DNS返回service的ClusterIP。
为什么要用headless service(没有service ip的service)?
在使用Deployment时,创建的Pod名称是没有顺序的,是随机字符串,在用statefulset管理pod时要求pod名称必须是有序的,每一个pod不能被随意取代,pod重建后pod名称还是一样的。因为pod IP是变化的,所以要用Pod名称来识别。pod名称是pod唯一性的标识符,必须持久稳定有效。这时候要用到无头服务,它可以给每个Pod一个唯一的名称。
1、headless service会为service分配一个域名
<service name>.$<namespace name>.svc.cluster.localK8s中资源的全局FQDN格式:
Service_NAME.NameSpace_NAME.Domain.LTD.Domain.LTD.=svc.cluster.local.[root@k8s-master deployment]# dig nginx-deploy-svc.default.svc.cluster.local @10.96.0.10 ; <<>> DiG 9.11.36-RedHat-9.11.36-14.el8_10 <<>> nginx-deploy-svc.default.svc.cluster.local @10.96.0.10 ;; global options: +cmd ;; Got answer: ;; WARNING: .local is reserved for Multicast DNS ;; You are currently testing what happens when an mDNS query is leaked to DNS ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 19414 ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1 ;; WARNING: recursion requested but not available ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4096 ; COOKIE: 16379d4770867ed4 (echoed) ;; QUESTION SECTION: ;nginx-deploy-svc.default.svc.cluster.local. IN A ;; ANSWER SECTION: nginx-deploy-svc.default.svc.cluster.local. 30 IN A 10.97.172.98 ;; Query time: 7 msec ;; SERVER: 10.96.0.10#53(10.96.0.10) ;; WHEN: 一 1月 13 01:25:21 EST 2025 ;; MSG SIZE rcvd: 141 [root@k8s-master deployment]# kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 6d4h nginx-deploy-svc NodePort 10.97.172.98 <none> 80:30676/TCP 2m20s2、StatefulSet会为关联的Pod保持一个不变的Pod Name
statefulset中Pod的名字格式为 【 $(StatefulSet name)-$(pod序号) 】
3、StatefulSet会为关联的Pod分配一个dnsName
$<Pod Name>.$<service name>.$<namespace name>.svc.cluster.local二、Statefulset资源清单文件编写技巧
#查看定义Statefulset资源需要的字段 [root@k8s-master01~]# kubectl explain statefulset FIELDS: apiVersion <string> #定义statefulset资源需要使用的api版本 kind <string> #定义的资源类型 metadata <Object> #元数据 spec <Object> #定义容器相关的信息 #查看statefulset.spec字段如何定义 [root@k8s-master01~]# kubectl explain statefulset.spec FIELDS: podManagementPolicy <string> #pod管理策略 replicas <integer> #副本数 revisionHistoryLimit <integer> #保留的历史版本 selector <Object> -required- #标签选择器,选择它所关联的pod serviceName <string> -required- #headless service的名字 template <Object> -required- #生成pod的模板 updateStrategy <Object> #更新策略 volumeClaimTemplates <[]Object> #存储卷申请模板 #查看statefulset的spec.template字段如何定义? #对于template而言,其内部定义的就是pod,pod模板是一个独立的对象 [root@k8s-master01~]# kubectl explain statefulset.spec.template FIELDS: metadata <Object> spec <Object> #定义容器属性的通过上面可以看到,statefulset资源中有两个spec字段。第一个spec声明的是statefulset定义多少个Pod副本(默认将仅部署1个Pod)、匹配Pod标签的选择器、创建pod的模板、存储卷申请模板,第二个spec是spec.template.spec:主要用于Pod里的容器属性等配置。
.spec.template里的内容是声明Pod对象时要定义的各种属性,所以这部分也叫做PodTemplate(Pod模板)。还有一个值得注意的地方是:在.spec.selector中定义的标签选择器必须能够匹配到spec.template.metadata.labels里定义的Pod标签,否则Kubernetes将不允许创建statefulset。
三、Statefulset使用案例:部署web站点
#编写一个Statefulset资源清单文件 [root@k8s-master01~]# cat statefulset.yaml apiVersion: v1 kind: Service metadata: name: nginx-svc labels: app: nginx spec: ports: - port: 80 name: web clusterIP: "None" selector: app: nginx --- apiVersion: apps/v1 kind: StatefulSet metadata: name: web spec: selector: matchLabels: app: nginx serviceName: "nginx-svc" replicas: 2 template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx imagePullPolicy: IfNotPresent ports: - containerPort: 80 name: web #更新资源清单文件 [root@k8s-master01~]# kubectl apply -f statefulset.yaml service/nginx created statefulset.apps/web created #查看statefulset是否创建成功 [root@k8s-master01~]# kubectl get statefulset NAME READY AGE web 2/2 42s #查看pod [root@k8s-master01~]# kubectl get pods -l app=nginx NAME READY STATUS RESTARTS AGE web-0 1/1 Running 0 2m17s web-1 1/1 Running 0 115s #通过上面可以看到创建的pod是有序的 #查看headless service [root@k8s-master01~]# kubectl get svc -l app=nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nginx ClusterIP None <none> 80/TCP 3m19s #查看pvc [root@k8s-master01~]# kubectl get pvc #查看pod主机名 [root@k8s-master01~]# for i in 0 1; do kubectl exec web-$i -- sh -c 'hostname';done web-0 web-1 #使用k运行一个提供nslookup命令的容器(bubybox:1.28),这个命令来自于dnsutils包,通过对pod主机名执行nslookup,可以检查它们在集群内部的DNS地址: [root@hd1 ~]# cat pod-second.yaml apiVersion: v1 kind: Pod metadata: name: pod-second labels: app: backend tier: db spec: containers: - name: busybox image: busybox:1.28 imagePullPolicy: IfNotPresent command: ["sh","-c","sleep 3600"] [root@hd1 ~]# kubectl apply -f pod-second.yaml [root@hd1 ~]# kubectl exec -it pod-second -- /bin/sh / # nslookup web-0.nginx.default.svc.cluster.local Server: 10.10.0.10 Address 1: 10.10.0.10 kube-dns.kube-system.svc.cluster.local Name: web-0.nginx.default.svc.cluster.local Address 1: 10.10.156.137 web-0.nginx.default.svc.cluster.local / # #statefulset创建的pod也是有dns记录的 Address: 10.10.209.154 #解析的是pod的ip地址,还可以解析 nginx.default.svc.cluster.local / # nslookup nginx.default.svc.cluster.local Server: 10.10.0.10 Address 1: 10.10.0.10 kube-dns.kube-system.svc.cluster.local Name: nginx.default.svc.cluster.local Address 1: 10.10.25.245 web-1.nginx.default.svc.cluster.local Address 2: 10.10.156.137 web-0.nginx.default.svc.cluster.local / #四、Statefulset管理pod:扩容、缩容、更新
Statefulset实现pod的动态扩容
如果我们觉得两个副本太少了,想要增加,只需要修改配置文件statefulset.yaml里的replicas的值即可,原来replicas: 2,现在变成replicaset: 3,修改之后,执行如下命令更新:
[root@k8s-master01~]# kubectl apply -f statefulset.yaml service/nginx unchanged statefulset.apps/web configured [root@k8s-master01~]# kubectl get sts NAME READY AGE web 3/3 60m [root@k8s-master01~]# kubectl get pods -l app=nginx NAME READY STATUS RESTARTS AGE web-0 1/1 Running 0 61m web-1 1/1 Running 0 60m web-2 1/1 Running 0 79s #也可以直接编辑控制器实现扩容 [root@k8s-master01~]# kubectl edit sts web #这个是我们把请求提交给了apiserver,实时修改,把上面的spec下的replicas 后面的值改成4,保存退出 [root@k8s-master01~]# kubectl get pods -l app=nginx NAME READY STATUS RESTARTS AGE web-0 1/1 Running 0 62m web-1 1/1 Running 0 62m web-2 1/1 Running 0 3m13s web-3 1/1 Running 0 26sStatefulset实现pod的动态缩容
如果我们觉得4个Pod副本太多了,想要减少,只需要修改配置文件statefulset.yaml里的replicas的值即可,把replicaset:4变成replicas: 2,修改之后,执行如下命令更新:
[root@k8s-master01~]# kubectl apply -f statefulset.yamlservice/nginx unchangedstatefulset.apps/web configured[root@k8s-master01~]# kubectl get pods -l app=nginxNAME READY STATUS RESTARTS AGEweb-0 1/1 Running 0 64mweb-1 1/1 Running 0 64mStatefulset实现pod的更新
[root@k8s-worker01 ~]# docker load -i myapp.tar.gz [root@k8s-master01~]# kubectl edit sts web #修改镜像nginx变成- image: ikubernetes/myapp:v2,修改之后保存退出 [root@k8s-master01~]# kubectl get pods -o wide -l app=nginx NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES web-0 1/1 Running 0 18s 10.10.209.156 k8s-worker01 web-1 1/1 Running 0 36s 10.10.187.115 k8s-worker02 #查看pod详细信息 [root@k8s-master01~]# kubectl describe pods web-0 #可以看到pod已经使用刚才更新的镜像ikubernetes/myapp:v2