news 2026/4/15 9:48:43

autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

会话管理命令(推荐使用 screen 或 tmux 后台运行)
功能 screen 命令 tmux 命令
新建命名会话 screen -S 名字 tmux new -s 名字
列出所有会话 screen -ls tmux ls
重新连接会话 screen -r 名字 tmux attach -t 名字
detach(后台运行) Ctrl+A → D Ctrl+B → D
退出并关闭会话 exit 或 Ctrl+D exit 或 Ctrl+D

conda create -n paddleocr-vlpython=3.11.13# 构建一个虚拟环境,名为:tfconda initbash&&source/root/.bashrc# 更新bashrc中的环境变量conda activate paddleocr-vl

从百度云pipy 安装 pip install paddlepaddle-gpu==3.2.0

pipinstallpaddlepaddle-gpu==3.2.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/#wget http://qiniu.dywlkj.com/paddleocr-vl/paddlepaddle_gpu-3.2.0-cp311-cp311-linux_x86_64.whl

推荐操作步骤

  1. 下载所有离线包到指定目录
    这个命令会解析 paddleocr[doc-parser] 的所有依赖,并将它们的 .whl 文件下载到 paddle_install_offline_wheels 文件夹中。

Bash

pip download"paddleocr[doc-parser]"\--no-cache-dir\-d ./paddle_install_offline_wheels\-v2>&1|teepaddle_download.log

参数解释:

-d ./paddle_install_offline_wheels: 指定下载目录。如果文件夹不存在,pip 会自动创建。

–no-cache-dir: 强制从网络下载,不使用本地已有的缓存包。

-v: 详细模式,记录每个包的来源和下载过程。

  1. (可选) 从该目录进行离线安装
    一旦你下载了所有 .whl 文件,以后在没有网络的环境下,你可以通过以下命令安装:
pipinstall--no-index --find-links=./paddle_install_offline_wheels"paddleocr[doc-parser]"

Install vLLM server dependencies (for production deployment)

torch==2.8.0 pip show torch Name: torch Version:2.8.0 Summary: Tensors and Dynamic neural networksinPython with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: packages@pytorch.org License: BSD-3-Clause Location: /root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages Requires: filelock, fsspec, jinja2, networkx, nvidia-cublas-cu12, nvidia-cuda-cupti-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-runtime-cu12, nvidia-cudnn-cu12, nvidia-cufft-cu12, nvidia-cufile-cu12, nvidia-curand-cu12, nvidia-cusolver-cu12, nvidia-cusparse-cu12, nvidia-cusparselt-cu12, nvidia-nccl-cu12, nvidia-nvjitlink-cu12, nvidia-nvtx-cu12, sympy, triton, typing-extensions Required-by: compressed-tensors, flash_attn, torchaudio, torchvision, vllm, xformers, xgrammarwgethttp://qiniu.dywlkj.com/paddleocr-vl/flash_attn-2.7.3%2Bcu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl pipinstall\./flash_attn-2.7.3+cu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl\--no-deps\--no-build-isolation# Install vLLM server dependencies (for production deployment)paddleocr install_genai_server_deps vllm
python -c"import torch; \ print(f'Torch version: {torch.__version__}'); \ print(f'CUDA available: {torch.cuda.is_available()}'); \ print(f'CUDA version used by Torch: {torch.version.cuda}'); \ print(f'Supported Architectures: {torch.cuda.get_arch_list()}'); \ print(f'Current GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else\"None\"}')"Torch version:2.8.0+cu128 CUDA available: True CUDA version used by Torch:12.8Supported Architectures:['sm_70','sm_75','sm_80','sm_86','sm_90','sm_100','sm_120']Current GPU: NVIDIA GeForce RTX4090

六、安装后立刻验证(必须做)

python-<<'EOF'importflash_attn,torchprint("flash_attn:",flash_attn.__file__)print("torch:",torch.__version__)print("cuda:",torch.version.cuda)print("cuda available:",torch.cuda.is_available())EOF flash_attn:/root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages/flash_attn/__init__.py torch:2.8.0+cu128 cuda:12.8cuda available:True

python modelscope_PaddleOCR-VL.py

frommodelscopeimportsnapshot_download MODEL_NAME="PaddlePaddle/PaddleOCR-VL"MODEL_ID="PaddleOCR-VL"SAVE_DIR=f"/root/autodl-tmp/models/{MODEL_ID}"if__name__=="__main__":print(f"正在从 ModelScope 下载模型:{MODEL_NAME}")print(f"保存目录:{SAVE_DIR}")print("-"*50)model_dir=snapshot_download(MODEL_NAME,cache_dir=SAVE_DIR,revision="master",)print("-"*50)print(f"模型下载完成!")print(f"模型路径:{model_dir}")

exportDISABLE_MODEL_SOURCE_CHECK=TrueexportVLLM_USE_PRECOMPILED=1paddlex_genai_server\--model_name PaddleOCR-VL-0.9B\--model_dir /root/autodl-tmp/models/PaddleOCR-VL/PaddlePaddle/PaddleOCR-VL\--backend vllm\--host0.0.0.0\--port8118

核心操作:安装 Serving 依赖
首先,确保 Serving 插件及其依赖已安装(同样建议记录日志):

Bash

paddlex --install serving -v 2>&1 | tee install_serving.log

paddlex\--get_pipeline_config PaddleOCR-VL\--save_path ./pipelines

执行后你会看到:

pipelines/ └── PaddleOCR-VL.yaml

这一步 不需要联网成功,只要 PaddleX 包本身在。

改成

paddlex --serve\--pipeline ./pipelines/PaddleOCR-VL.yaml\--host0.0.0.0\--port10800\--paddle_model_dir /root/autodl-tmp
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/13 11:13:33

人群仿真软件:Pathfinder_(9).用户界面与工具栏详解

用户界面与工具栏详解 1. 用户界面概述 用户界面&#xff08;User Interface, UI&#xff09;是人群仿真软件Pathfinder的核心部分之一。它不仅提供了用户与软件交互的窗口&#xff0c;还决定了用户操作的便捷性和直观性。Pathfinder的用户界面主要由以下几个部分组成&#xff…

作者头像 李华
网站建设 2026/4/5 13:33:51

人群仿真软件:Pathfinder_(6).出口与路径定义

出口与路径定义 在人群仿真软件中&#xff0c;定义出口和路径是非常关键的步骤。这些定义不仅决定了人员的疏散方向&#xff0c;还直接影响了仿真结果的准确性和可靠性。本节将详细介绍如何在Pathfinder中定义出口和路径&#xff0c;包括路径网络的构建、出口属性的设置以及如何…

作者头像 李华
网站建设 2026/4/5 9:55:12

人群仿真软件:Pathfinder_(2).Pathfinder的基本功能与操作

Pathfinder的基本功能与操作 1. 软件界面介绍 1.1 主界面布局 Pathfinder 的主界面布局清晰&#xff0c;主要分为以下几个部分&#xff1a; 菜单栏&#xff1a;包含文件、编辑、视图、工具等常规操作。 工具栏&#xff1a;提供常用的工具按钮&#xff0c;如新建、打开、保存…

作者头像 李华
网站建设 2026/4/6 1:01:31

导师推荐9个AI论文工具,助你轻松搞定研究生论文写作!

导师推荐9个AI论文工具&#xff0c;助你轻松搞定研究生论文写作&#xff01; AI 工具如何助力论文写作&#xff1f; 在研究生阶段&#xff0c;论文写作是一项既重要又繁重的任务。随着人工智能技术的不断发展&#xff0c;越来越多的 AI 工具被应用于学术写作中&#xff0c;帮…

作者头像 李华
网站建设 2026/4/7 14:39:08

基于SpringBoot的高校综合医疗健康服务管理系统设计与实现

高校综合医疗健康服务管理系统的背景意义高校作为学生和教职工密集的场所&#xff0c;医疗健康服务需求量大且多样化。传统的高校医疗管理模式存在信息孤岛、服务效率低、资源分配不均等问题。随着信息化技术的发展&#xff0c;构建基于SpringBoot的高校综合医疗健康服务管理系…

作者头像 李华
网站建设 2026/4/11 18:08:30

泰国海外仓如何精准履约?基于海外仓WMS的拣货防错解决方案

随着跨境电商行业的发展&#xff0c;泰国海外仓得以快速发展&#xff0c;且呈现出从单一的存储工具成为一个整合仓储、物流、退货的集合体&#xff0c;有效帮助跨境电商卖家处理仓储、商品管理、物流、发货、退货逆向物流等其他服务需求&#xff0c;以满足跨境电商用户对于时效…

作者头像 李华