Chandra OCR多租户支持：Kubernetes部署+命名空间隔离+资源配额管理

Chandra OCR多租户支持：Kubernetes部署+命名空间隔离+资源配额管理

如果你正在寻找一个能把扫描件、PDF、图片一键转换成结构清晰的Markdown或HTML的OCR工具，那么Chandra OCR绝对值得你花时间了解。它最大的亮点是“布局感知”——不仅能识别文字，还能完美保留原文的排版、表格、公式，甚至手写体和复选框的状态。

更棒的是，它只需要4GB显存就能跑起来，在权威的olmOCR基准测试中拿到了83.1的综合高分，表现超过了GPT-4o和Gemini Flash 2。对于需要处理大量合同、报表、学术文献的团队来说，这无疑是个生产力利器。

但今天我们不只聊它的识别能力有多强。当你想把这样一个强大的工具部署到生产环境，服务多个团队或客户时，就会遇到新问题：如何保证不同用户的数据隔离？如何公平地分配计算资源？如何实现稳定的高并发服务？

本文将手把手带你解决这些问题。我们将基于Kubernetes，为Chandra OCR构建一个支持多租户的生产级部署方案，核心包括三个部分：利用Kubernetes部署保证服务高可用，通过命名空间实现租户间的硬隔离，再借助资源配额管理确保资源分配的公平与可控。

1. 为什么需要多租户部署？

在深入技术细节之前，我们先搞清楚一个问题：为什么简单的单实例部署不够用？

想象一下，你公司有三个部门同时需要使用OCR服务：法务部要处理扫描合同，财务部要识别票据报表，研发部要转换技术文档。如果大家共用同一个Chandra实例，可能会遇到这些麻烦：

• 资源争抢：财务部批量处理100张发票时，法务部的重要合同解析可能会被卡住，体验极差。
• 数据安全风险：所有部门的文件都经过同一个服务，存在潜在的数据泄露风险。
• 故障影响面大：如果服务因为某个部门的异常请求崩溃，所有部门都会受影响。
• 难以计费和审计：无法清晰统计每个部门使用了多少资源，为内部结算或客户收费带来困难。

多租户架构就是为了解决这些问题而生。它的核心思想是：在同一个底层基础设施上，为不同的用户群体（租户）提供逻辑上完全隔离的服务环境。每个租户都感觉自己在独享一套系统，互不干扰。

对于Chandra OCR，结合Kubernetes，我们可以实现一种优雅的多租户方案：

1. 基础设施层：Kubernetes集群提供统一的计算、存储和网络资源池。
2. 隔离层：Kubernetes的命名空间（Namespace）为每个租户创建一个独立的虚拟集群，实现资源与配置的隔离。
3. 应用层：在每个租户的命名空间中，独立部署一套Chandra OCR服务实例。
4. 管控层：通过资源配额（ResourceQuota）和限制范围（LimitRange），精细控制每个租户能使用的CPU、内存和GPU资源上限。

接下来，我们就从零开始，搭建这套系统。

2. 环境准备与Kubernetes集群搭建

工欲善其事，必先利其器。我们首先需要一个可用的Kubernetes环境。

2.1 基础环境要求

• 操作系统：Ubuntu 20.04/22.04 LTS 或 CentOS 7/8。
• 节点：至少2台服务器（1个Master，1个Worker）。生产环境建议3个Master实现高可用。
• 硬件：每台服务器建议4核CPU、8GB内存以上。Worker节点需要根据Chandra OCR的需求配备GPU（如NVIDIA T4、RTX 3060等）。
• 网络：节点间网络互通，并关闭防火墙或配置好相应端口。

2.2 使用kubeadm快速搭建集群

这里我们使用Kubernetes官方工具kubeadm来快速初始化一个集群。以下是在Master节点上的操作步骤：

# 1. 安装Docker（容器运行时） sudo apt-get update sudo apt-get install -y docker.io sudo systemctl enable docker sudo systemctl start docker # 2. 安装kubeadm, kubelet和kubectl sudo apt-get update && sudo apt-get install -y apt-transport-https curl curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt-get update sudo apt-get install -y kubelet kubeadm kubectl sudo apt-mark hold kubelet kubeadm kubectl # 3. 初始化Master节点 # 将<MASTER_IP>替换为你的Master节点内网IP，例如192.168.1.100 sudo kubeadm init --apiserver-advertise-address=<MASTER_IP> --pod-network-cidr=10.244.0.0/16 # 初始化成功后，会输出类似下面的信息，请保存好最后的`kubeadm join`命令，用于添加Worker节点。 # Your Kubernetes control-plane has initialized successfully! # ... # kubeadm join 192.168.1.100:6443 --token xxxx --discovery-token-ca-cert-hash sha256:xxxx # 4. 配置kubectl（普通用户） mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config # 5. 安装Pod网络插件（这里使用Flannel） kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml # 检查核心组件状态，直到所有Pod都是Running状态 kubectl get pods --all-namespaces

在Worker节点上，只需要执行Master节点初始化成功后输出的那个kubeadm join命令即可。

2.3 安装NVIDIA GPU驱动与插件

要让Kubernetes调度GPU资源给Chandra OCR使用，必须安装NVIDIA设备插件。

# 在**所有**带有GPU的Worker节点上安装驱动（以Ubuntu为例） sudo apt-get update sudo apt-get install -y nvidia-driver-535 # 驱动版本请根据你的GPU型号调整 sudo reboot # 安装后需要重启 # 在Master节点上，部署NVIDIA设备插件DaemonSet kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.1/nvidia-device-plugin.yml # 验证GPU资源是否被集群识别 kubectl describe node <worker-node-name> | grep -A 10 Capacity # 你应该能在输出中看到 `nvidia.com/gpu: 1`（或其他数量）

至此，一个支持GPU调度的Kubernetes集群就准备就绪了。

3. 为多租户创建命名空间与资源配额

现在，我们来创建两个租户的独立环境：tenant-a（法务部）和tenant-b（财务部）。

3.1 创建命名空间

命名空间是隔离的第一道墙。

# namespaces.yaml apiVersion: v1 kind: Namespace metadata: name: tenant-a --- apiVersion: v1 kind: Namespace metadata: name: tenant-b

应用这个配置：

kubectl apply -f namespaces.yaml

3.2 设置资源配额

我们不能让一个租户无限制地使用资源。通过ResourceQuota，我们可以为每个命名空间设置总资源上限。

# resource-quotas.yaml apiVersion: v1 kind: ResourceQuota metadata: name: compute-resources namespace: tenant-a # 应用于tenant-a命名空间 spec: hard: requests.cpu: "2" # 最多可申请2核CPU requests.memory: 4Gi # 最多可申请4GB内存 limits.cpu: "4" # CPU使用上限为4核 limits.memory: 8Gi # 内存使用上限为8GB requests.nvidia.com/gpu: "1" # 最多可申请1块GPU limits.nvidia.com/gpu: "1" # GPU使用上限为1块 pods: "10" # 最多允许运行10个Pod --- apiVersion: v1 kind: ResourceQuota metadata: name: compute-resources namespace: tenant-b # 应用于tenant-b命名空间 spec: hard: requests.cpu: "4" requests.memory: 8Gi limits.cpu: "8" limits.memory: 16Gi requests.nvidia.com/gpu: "2" limits.nvidia.com/gpu: "2" pods: "20"

应用配额：

kubectl apply -f resource-quotas.yaml

解释一下：我们给财务部（tenant-b）分配了更多的资源，因为他们可能需要处理更大的批量任务。requests是容器启动时申请的资源，limits是运行时绝对不能超过的硬限制。

3.3 设置默认资源限制

为了避免每个部署都单独写资源限制，我们可以用LimitRange为命名空间设置一个默认值。

# limit-range.yaml apiVersion: v1 kind: LimitRange metadata: name: default-limits namespace: tenant-a # 同样需要分别创建给tenant-a和tenant-b spec: limits: - default: # 默认限制（如果Pod没指定limits，则用这个） cpu: 500m memory: 1Gi nvidia.com/gpu: "1" defaultRequest: # 默认请求（如果Pod没指定requests，则用这个） cpu: 250m memory: 512Mi nvidia.com/gpu: "1" type: Container

4. 在Kubernetes中部署Chandra OCR

有了隔离的环境，接下来就在每个租户的命名空间中部署Chandra OCR服务。我们将采用Deployment来管理Pod实例，并用Service来暴露服务。

4.1 准备Chandra OCR Docker镜像

Chandra官方提供了Docker镜像，我们可以直接使用。如果需要自定义，可以编写Dockerfile构建。

# 示例Dockerfile (如果官方镜像不满足需求) FROM pytorch/pytorch:2.1.0-cuda11.8-cudnn8-runtime RUN pip install chandra-ocr vllm # ... 其他自定义步骤

4.2 创建Chandra OCR的Deployment与Service

这里我们以tenant-a命名空间为例，部署一个使用vLLM后端、支持GPU的Chandra服务。

# chandra-deployment-tenant-a.yaml apiVersion: apps/v1 kind: Deployment metadata: name: chandra-ocr namespace: tenant-a # 关键：部署在tenant-a命名空间下 spec: replicas: 2 # 运行2个副本，实现负载均衡和高可用 selector: matchLabels: app: chandra-ocr template: metadata: labels: app: chandra-ocr spec: containers: - name: chandra image: datalabto/chandra-ocr:latest # 使用官方镜像 command: ["python", "-m", "chandra.server", "--host", "0.0.0.0", "--port", "8000", "--backend", "vllm"] ports: - containerPort: 8000 resources: requests: memory: "2Gi" cpu: "1" nvidia.com/gpu: "1" # 申请1块GPU limits: memory: "4Gi" cpu: "2" nvidia.com/gpu: "1" env: - name: VLLM_WORKER_MULTIPROC_METHOD value: forkserver # 可以在这里添加模型路径等环境变量 --- apiVersion: v1 kind: Service metadata: name: chandra-service namespace: tenant-a spec: selector: app: chandra-ocr ports: - protocol: TCP port: 80 # 集群内访问的端口 targetPort: 8000 # 容器端口 type: ClusterIP # 类型为ClusterIP，仅在集群内部访问

为tenant-b创建一份类似的部署文件，只需修改metadata.namespace为tenant-b即可。

应用部署：

# 部署到tenant-a kubectl apply -f chandra-deployment-tenant-a.yaml # 部署到tenant-b kubectl apply -f chandra-deployment-tenant-b.yaml # 检查部署状态 kubectl get deployments,pods,services -n tenant-a kubectl get deployments,pods,services -n tenant-b

现在，法务部和财务部都有了各自独立的Chandra OCR服务，互不干扰。它们通过各自命名空间内的Service域名（如chandra-service.tenant-a.svc.cluster.local）在集群内部访问。

5. 配置外部访问与负载均衡

集群内部的服务还需要暴露给外部用户（如公司内网的其他服务器）使用。这里我们使用Ingress来实现。

5.1 安装Ingress Controller

我们选择使用Nginx Ingress Controller。

# 安装Ingress-Nginx kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.8.2/deploy/static/provider/cloud/deploy.yaml

5.2 创建Ingress路由规则

假设我们想让外部用户通过不同的子域名访问不同租户的服务：

• legal-ocr.yourcompany.com->tenant-a的Chandra服务
• finance-ocr.yourcompany.com->tenant-b的Chandra服务

# chandra-ingress.yaml apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: chandra-ingress annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: rules: - host: legal-ocr.yourcompany.com http: paths: - path: / pathType: Prefix backend: service: name: chandra-service # 指向tenant-a的service port: number: 80 # 注意：Ingress规则本身是集群级别的，但通过指定后端Service的namespace来实现跨命名空间路由 # 标准Ingress不支持直接指定namespace，需要Ingress-Nginx的额外注解或使用IngressClass。 # 更常见的做法是为每个租户创建独立的Ingress，如下一个例子。 --- # 为每个租户创建独立的Ingress是更清晰的做法 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: chandra-ingress-tenant-a namespace: tenant-a # 这个Ingress属于tenant-a命名空间 spec: rules: - host: legal-ocr.yourcompany.com http: paths: - path: / pathType: Prefix backend: service: name: chandra-service # 自动引用同命名空间下的service port: number: 80 --- apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: chandra-ingress-tenant-b namespace: tenant-b spec: rules: - host: finance-ocr.yourcompany.com http: paths: - path: / pathType: Prefix backend: service: name: chandra-service port: number: 80

应用Ingress配置后，你需要将域名legal-ocr.yourcompany.com和finance-ocr.yourcompany.com的DNS解析指向你的Ingress Controller的外部IP地址（可以通过kubectl get svc -n ingress-nginx查看）。

6. 租户数据持久化与存储隔离

OCR服务通常需要处理上传的文件。我们需要为每个租户提供独立的、持久化的存储空间。

6.1 创建持久化存储卷（PersistentVolume）

假设我们使用NFS作为共享存储后端。

# pv-tenant-a.yaml apiVersion: v1 kind: PersistentVolume metadata: name: pv-tenant-a spec: capacity: storage: 100Gi volumeMode: Filesystem accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain storageClassName: nfs-storage nfs: path: /nfs_share/tenant-a # NFS服务器上为tenant-a准备的目录 server: nfs-server-ip --- # pv-tenant-b.yaml (类似，path改为/nfs_share/tenant-b)

6.2 创建存储卷声明（PersistentVolumeClaim）

租户通过PVC来申请PV资源。

# pvc-tenant-a.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: chandra-storage-pvc namespace: tenant-a # PVC属于特定命名空间 spec: storageClassName: nfs-storage accessModes: - ReadWriteMany resources: requests: storage: 50Gi # 申请50GB空间，不能超过PV的100GB

6.3 在Deployment中挂载存储

修改之前的Deployment，将PVC挂载到容器的某个路径，用于存放上传的图片和输出的结果。

# 在Deployment的spec.template.spec部分添加 spec: containers: - name: chandra # ... 其他配置不变 volumeMounts: - name:># 查看所有租户的资源使用概况 kubectl top pods --all-namespaces # 查看特定租户的详细资源配额使用情况 kubectl describe resourcequota compute-resources -n tenant-a # 进入某个租户的Pod进行调试（如果需要） kubectl exec -it -n tenant-a <pod-name> -- /bin/bash # 滚动更新tenant-a的Chandra镜像版本 kubectl set image deployment/chandra-ocr -n tenant-a chandra=datalabto/chandra-ocr:v1.1.0

8. 总结

通过本文的实践，我们成功构建了一个基于Kubernetes的Chandra OCR多租户生产部署方案。我们来回顾一下核心价值和实现要点：

1. 清晰的多租户架构：利用Kubernetes命名空间，我们为每个业务部门（租户）创建了逻辑上完全隔离的运行环境，从根本上解决了资源争抢和数据安全问题。

2. 精细化的资源管控：通过ResourceQuota和LimitRange，我们实现了对CPU、内存、GPU等核心资源的硬性限制和默认配置，确保了资源分配的公平性与可预测性，为成本核算打下了基础。

3. 高可用与可扩展性：使用Deployment部署多副本，配合Service和Ingress，服务具备了负载均衡和故障自愈能力。当某个租户业务增长时，只需调整其Deployment的replicas数量或资源配额即可轻松扩展。

4. 独立的数据持久化：通过PersistentVolume和PersistentVolumeClaim，每个租户的数据被存储在独立的物理路径下，既满足了数据持久化需求，又实现了存储层面的隔离。

5. 标准化的运维界面：统一的Kubernetes API和命名空间维度，使得监控、日志、升级、回滚等所有运维操作都变得规范且高效。

这套方案不仅适用于Chandra OCR，其设计模式可以推广到任何需要服务多团队、多客户的企业级AI应用部署场景。它将强大的AI能力封装成稳定、可控、可运营的云服务，让技术真正为业务赋能。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。