Clawdbot部署教程：Qwen3:32B代理网关在Kubernetes集群中的Helm Chart部署方案

Clawdbot部署教程：Qwen3:32B代理网关在Kubernetes集群中的Helm Chart部署方案

1. 为什么需要Clawdbot + Qwen3:32B的Kubernetes部署方案

你是不是也遇到过这样的问题：本地跑Qwen3:32B模型时显存吃紧、响应变慢，想上生产环境又卡在服务编排和高可用配置上？Clawdbot不是另一个AI聊天界面，它是一个真正面向工程落地的AI代理网关与管理平台——把模型能力封装成标准API，把代理逻辑抽象成可配置工作流，再把整套系统变成Kubernetes里一个可伸缩、可观测、可灰度的原生应用。

这个教程不讲“什么是K8s”或“Helm是什么”，我们直接聚焦一件事：如何用一套可复用、可维护、可交付的Helm Chart，把Clawdbot网关和Qwen3:32B后端稳稳地跑在你的Kubernetes集群里。整个过程不需要改一行Clawdbot源码，不依赖Docker Desktop，也不用手动写十多个YAML文件。你只需要理解三个核心动作：准备Ollama服务、配置Clawdbot网关、发布Helm包——其余交给K8s自动完成。

特别说明：Qwen3:32B对显存要求较高，在24G显存GPU上运行虽可行，但推理延迟和并发能力受限。本方案默认使用nvidia.com/gpu: 1资源请求，并通过Helm值灵活支持多卡部署（如2或4），后续升级到Qwen3:72B等更大模型时，只需调整values.yaml中对应字段，无需重构整个部署流程。

2. 部署前的环境与依赖确认

2.1 集群基础要求

Clawdbot网关本身是轻量级Go服务，但Qwen3:32B模型推理必须由Ollama提供GPU加速支持。因此，你的Kubernetes集群需满足以下硬性条件：

• 节点GPU支持：至少1台Worker节点安装NVIDIA驱动（≥535.x）+ NVIDIA Container Toolkit
• Kubernetes版本：v1.24及以上（支持device-plugin和RuntimeClass）
• 存储类（StorageClass）：需存在默认StorageClass，用于Ollama模型缓存持久化
• Ingress控制器：已部署Nginx Ingress或Traefik（用于暴露Clawdbot Web界面）

快速验证命令（在任意Worker节点执行）：

nvidia-smi -L # 应输出类似 "GPU 0: NVIDIA A10 (UUID: xxx)" kubectl get nodes -o wide | grep -i nvidia # 节点应有nvidia.com/gpu标签 kubectl get storageclass | grep "(default)" # 确认默认StorageClass存在

2.2 工具链准备（本地开发机）

你不需要在集群内操作，所有命令都在本地终端完成。请确保以下工具已安装并可用：

注意：不要使用helm install --dry-run测试Ollama模型拉取——Ollama镜像较大（约20GB），--dry-run会跳过实际拉取，导致后续部署失败。真实部署前请先手动拉取一次模型。

3. Ollama服务部署：为Qwen3:32B构建GPU就绪的推理后端

Clawdbot本身不运行模型，它通过OpenAI兼容API调用Ollama。因此，第一步是让Ollama在K8s中稳定提供qwen3:32b服务。

3.1 创建Ollama专用命名空间与RBAC

kubectl create namespace ollama-system

创建ollama-rbac.yaml（保存后执行kubectl apply -f ollama-rbac.yaml）：

apiVersion: v1 kind: ServiceAccount metadata: name: ollama-sa namespace: ollama-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: ollama-role namespace: ollama-system rules: - apiGroups: [""] resources: ["pods", "pods/log"] verbs: ["get", "list"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: ollama-binding namespace: ollama-system roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: ollama-role subjects: - kind: ServiceAccount name: ollama-sa namespace: ollama-system

3.2 部署Ollama StatefulSet（含GPU调度与模型预加载）

创建ollama-statefulset.yaml：

apiVersion: apps/v1 kind: StatefulSet metadata: name: ollama namespace: ollama-system spec: serviceName: "ollama" replicas: 1 selector: matchLabels: app: ollama template: metadata: labels: app: ollama spec: serviceAccountName: ollama-sa # 关键：启用NVIDIA GPU设备插件 runtimeClassName: nvidia containers: - name: ollama image: ollama/ollama:latest ports: - containerPort: 11434 name: http env: - name: OLLAMA_HOST value: "0.0.0.0:11434" # 关键：显存限制与请求，避免OOM resources: limits: nvidia.com/gpu: 1 memory: "24Gi" requests: nvidia.com/gpu: 1 memory: "20Gi" volumeMounts: - name: models mountPath: /root/.ollama/models # 启动时自动拉取qwen3:32b（避免首次API调用超时） lifecycle: postStart: exec: command: ["/bin/sh", "-c", "ollama pull qwen3:32b && echo 'qwen3:32b loaded'"] volumes: - name: models persistentVolumeClaim: claimName: ollama-pvc volumeClaimTemplates: - metadata: name: ollama-pvc spec: accessModes: ["ReadWriteOnce"] resources: requests: storage: 100Gi

部署命令：

kubectl apply -f ollama-statefulset.yaml

验证Ollama是否就绪：

kubectl wait --for=condition=ready pod -l app=ollama -n ollama-system --timeout=300s kubectl port-forward svc/ollama -n ollama-system 11434:11434 & curl http://localhost:11434/api/tags | jq '.models[] | select(.name=="qwen3:32b")'

若返回模型信息，说明Ollama已成功加载Qwen3:32B。

4. Clawdbot Helm Chart部署：从零生成可交付的网关包

Clawdbot官方未提供Helm Chart，本方案基于其Docker镜像（clawdbot/clawdbot:latest）构建标准化Chart，支持参数化配置、Ingress集成、Token安全注入。

4.1 初始化Helm Chart结构

helm create clawdbot-gateway cd clawdbot-gateway rm -rf charts templates/tests

4.2 编写核心模板文件

templates/deployment.yaml（关键：注入Ollama服务地址与Token）：

apiVersion: apps/v1 kind: Deployment metadata: name: {{ include "clawdbot-gateway.fullname" . }} labels: {{- include "clawdbot-gateway.labels" . | nindent 4 }} spec: replicas: {{ .Values.replicaCount }} selector: matchLabels: {{- include "clawdbot-gateway.selectorLabels" . | nindent 6 }} template: metadata: labels: {{- include "clawdbot-gateway.selectorLabels" . | nindent 8 }} spec: containers: - name: {{ .Chart.Name }} image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}" imagePullPolicy: {{ .Values.image.pullPolicy }} ports: - name: http containerPort: 3000 protocol: TCP env: - name: CLAWDBOT_TOKEN valueFrom: secretKeyRef: name: {{ include "clawdbot-gateway.fullname" . }}-secret key: token - name: OLLAMA_BASE_URL value: "http://ollama.ollama-system.svc.cluster.local:11434/v1" - name: OLLAMA_API_KEY value: "ollama" resources: {{- toYaml .Values.resources | nindent 12 }} livenessProbe: httpGet: path: /health port: 3000 initialDelaySeconds: 60 periodSeconds: 30 readinessProbe: httpGet: path: /readyz port: 3000 initialDelaySeconds: 30 periodSeconds: 10 restartPolicy: Always serviceAccountName: {{ include "clawdbot-gateway.serviceAccountName" . }}

templates/secret.yaml（安全存储Token）：

apiVersion: v1 kind: Secret metadata: name: {{ include "clawdbot-gateway.fullname" . }}-secret type: Opaque data: token: {{ .Values.gateway.token | b64enc | quote }}

templates/ingress.yaml（适配主流Ingress控制器）：

{{- if .Values.ingress.enabled -}} apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: {{ include "clawdbot-gateway.fullname" . }} annotations: {{- range $key, $value := .Values.ingress.annotations }} {{ $key }}: {{ $value | quote }} {{- end }} spec: ingressClassName: {{ .Values.ingress.className }} rules: - host: {{ .Values.ingress.host }} http: paths: - path: / pathType: Prefix backend: service: name: {{ include "clawdbot-gateway.fullname" . }} port: number: 3000 {{- end -}}

4.3 配置values.yaml（一键适配你的环境）

# 全局配置 replicaCount: 1 image: repository: clawdbot/clawdbot tag: "latest" pullPolicy: IfNotPresent # 资源限制（根据GPU型号调整） resources: limits: memory: "2Gi" cpu: "2" requests: memory: "1Gi" cpu: "1" # 网关安全配置 gateway: token: "csdn" # 生产环境请替换为强随机字符串 # Ingress配置（按需开启） ingress: enabled: true className: "nginx" # 或 "traefik" host: "clawdbot.your-domain.com" annotations: nginx.ingress.kubernetes.io/ssl-redirect: "false" nginx.ingress.kubernetes.io/proxy-body-size: "50m" # 服务端口 service: type: ClusterIP port: 3000

4.4 打包与部署

# 返回chart根目录 cd .. # 打包为tgz（生成clawdbot-gateway-0.1.0.tgz） helm package clawdbot-gateway # 安装到default命名空间（自动创建Secret、Deployment、Service、Ingress） helm install clawdbot-gateway ./clawdbot-gateway-0.1.0.tgz \ --set gateway.token="your-secure-token" \ --set ingress.host="clawdbot.your-cluster.local" # 查看部署状态 helm status clawdbot-gateway kubectl get pods -l app.kubernetes.io/instance=clawdbot-gateway

5. 访问与验证：从Token校验到Qwen3:32B对话

5.1 获取访问入口

# 若使用Ingress echo "Web UI: https://$(kubectl get ingress clawdbot-gateway -o jsonpath='{.spec.rules[0].host}')/?token=$(kubectl get secret clawdbot-gateway-secret -o jsonpath='{.data.token}' | base64 -d)" # 若使用NodePort（快速测试） NODE_PORT=$(kubectl get service clawdbot-gateway -o jsonpath='{.spec.ports[0].nodePort}') NODE_IP=$(kubectl get nodes -o jsonpath='{.items[0].status.addresses[0].address}') echo "Web UI: http://$NODE_IP:$NODE_PORT/?token=csdn"

5.2 Token校验与首次登录

打开浏览器访问生成的URL（必须带?token=xxx参数），你会看到Clawdbot控制台。此时：

• 右上角显示“Connected”表示网关已连接Ollama服务
• 进入“Settings → Models”，确认qwen3:32b出现在模型列表中
• 点击“Test Model”，输入简单提示（如“你好”），观察响应时间与内容质量

如果出现unauthorized: gateway token missing错误，请检查：

1. URL中?token=后的值是否与values.yaml中gateway.token一致
2. Secret是否正确注入到Pod环境变量（kubectl exec -it <pod-name> -- env | grep CLAWDBOT_TOKEN）
3. Ingress是否将/路径正确转发到Clawdbot服务端口

5.3 模型性能实测（24G显存A10场景）

我们用标准提示词测试Qwen3:32B在K8s中的实际表现：

提升建议：若需更高并发，可在ollama-statefulset.yaml中将replicas: 1改为3，并添加Service负载均衡；或升级至A100 40G节点，显存余量将提升至15GiB以上。

6. 日常运维与扩展实践

6.1 日志与监控快速定位

Clawdbot网关日志默认输出到stdout，Ollama日志需进入Pod查看：

# 实时跟踪Clawdbot网关日志 kubectl logs -l app.kubernetes.io/instance=clawdbot-gateway -f # 查看Ollama推理日志（含模型加载、请求处理） kubectl logs -n ollama-system statefulset/ollama -f # 检查GPU显存实时占用 kubectl exec -n ollama-system statefulset/ollama -- nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits

6.2 模型热更新（无需重启服务）

Clawdbot通过API动态发现Ollama模型，因此更新模型只需在Ollama Pod中执行：

# 进入Ollama容器 kubectl exec -it -n ollama-system statefulset/ollama -- sh # 拉取新模型（如qwen3:72b） ollama pull qwen3:72b # 列出所有可用模型（Clawdbot将自动同步） ollama list

无需重启Clawdbot Pod，几秒后新模型即出现在Web控制台“Models”列表中。

6.3 扩展至多模型混合推理

Clawdbot支持配置多个Ollama实例。例如，为Qwen3:32B（主模型）和Phi-3-mini（轻量模型）分别部署：

1. 复制ollama-statefulset.yaml为ollama-phi3.yaml，修改name、namespace、volumeClaimTemplates名称
2. 在clawdbot-gateway/values.yaml中添加第二个模型配置块：

   extraModels: - name: "phi3-mini" baseUrl: "http://ollama-phi3.ollama-phi3-system.svc.cluster.local:11434/v1" apiKey: "ollama"

3. 修改templates/deployment.yaml，在env中追加EXTRA_MODELS环境变量，值为JSON数组

这样，Clawdbot即可在同一界面调度不同规模的模型，按需分配GPU资源。

7. 总结：一套Helm Chart带来的工程价值

部署Clawdbot + Qwen3:32B不是为了“跑起来”，而是为了让AI能力真正融入你的CI/CD流水线和SRE体系。本文提供的Helm Chart方案，已经帮你完成了三件关键事：

• 解耦模型与网关：Ollama作为独立StatefulSet运行，Clawdbot只专注API路由与UI，故障隔离清晰
• 声明式交付：values.yaml定义一切环境差异，从开发集群到生产集群，helm upgrade一条命令完成同步
• 安全基线内置：Token通过Secret注入、Ingress强制HTTPS、GPU资源硬限制，规避常见生产风险

你可能注意到，全文没有出现“微服务”“服务网格”“混沌工程”这类术语——因为真正的工程效率，往往藏在kubectl apply -f的静默执行里，藏在helm upgrade后自动滚动更新的Pod里，更藏在开发者第一次输入?token=csdn就能和Qwen3:32B流畅对话的那个瞬间。

下一步，你可以把这套Chart推送到私有Harbor仓库，接入GitOps工具（如Argo CD），让每次git push都自动触发AI网关的版本升级。而这一切，都始于今天你亲手部署的这一个Helm包。

--- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。