news 2026/8/4 14:01:10

autodl vLLM 部署MinerU2.5

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl vLLM 部署MinerU2.5

会话管理命令(推荐使用 screen 或 tmux 实现后台运行)

功能screen 命令tmux 命令
新建命名会话screen -S 会话名tmux new -s 会话名
列出所有会话screen -lstmux ls
重新连接会话screen -r 会话名tmux attach -t 会话名
后台运行(detach)Ctrl+ADCtrl+BD
退出并关闭会话exitCtrl+DexitCtrl+D
# 创建名为mineru_env的Python 3.11虚拟环境conda create -n mineru_envpython=3.11# 初始化conda并更新bash环境变量conda initbash&&source/root/.bashrc# 激活新建的虚拟环境conda activate mineru_env# 使用阿里云镜像安装mineru核心包pipinstall-U"mineru[core]"-i https://mirrors.aliyun.com/pypi/simple/ --extra-index-url https://pypi.org/simple

详细操作步骤:ModelScope 模型缓存配置与下载

1. 创建数据盘缓存目录

mkdir-p /root/autodl-tmp/modelscope_cache
  • 此命令会在/root/autodl-tmp/路径下创建modelscope_cache目录
  • -p参数确保父目录不存在时会自动创建
  • 推荐使用数据盘路径(如/root/autodl-tmp/)而非系统盘,避免占用宝贵的系统存储空间

2. 配置 ModelScope 缓存路径环境变量

exportMODELSCOPE_CACHE=/root/autodl-tmp/modelscope_cache
  • 将 ModelScope 的默认缓存路径指向刚创建的目录
  • 环境变量设置仅在当前会话有效,如需永久生效可添加到~/.bashrc文件
  • 验证设置是否成功:echo $MODELSCOPE_CACHE

3. 指定 MinerU 模型来源

exportMINERU_MODEL_SOURCE=modelscope
  • 明确告知 MinerU 系统从 ModelScope 获取模型
  • 这是必要的配置项,确保模型下载来源正确
  • 其他可选来源包括huggingface

4. 重新下载模型

mineru-models-download
  • 执行模型下载命令
  • 系统会根据配置从 ModelScope 下载所需模型到指定缓存目录
  • 下载进度会显示在终端,大模型可能需要较长时间
  • 完成后可通过ls -lh $MODELSCOPE_CACHE检查下载的文件
  1. 激活conda环境:
conda activate mineru_env
  1. 启动mineru服务器:
exportMINERU_MODEL_SOURCE=local# 设置模型源为本地exportCUDA_VISIBLE_DEVICES=3# 指定使用第3块GPU# 启动 OpenAI 兼容推理服务器(基于 vLLM)mineru-openai-server\--port30000\--host0.0.0.0\--gpu-memory-utilization0.85\--max-model-len8192\--tensor-parallel-size1

脱离:Ctrl+B D

# 检查可用模型列表curlhttp://127.0.0.1:30000/v1/models

MinerU 命令与运行模式说明

命令一览

命令用途推理引擎端口运行模式
mineru-openai-serverOpenAI 兼容 API 服务器vLLM30000持续运行
mineru-apiFastAPI 服务内置8000持续运行
mineru-gradioWebUI 界面内置7860持续运行
mineru命令行工具本地 / vLLM-单次执行

持续运行关系说明

启动 FastAPI 服务

mineru-api --port8000

该服务提供以下功能:

  • 封装业务级 API(包含推理、OCR、文档解析等能力)
  • 支持对接:
    • mineru-openai-server
    • 本地模型推理

注意事项:

  • 需要保持服务持续运行
  • 通常作为后端主入口使用

服务启动信息

Start MinerU FastAPI Service: http://192.168.110.131:50000 API文档访问地址: - SwaggerUI: http://192.168.110.131:50000/docs - ReDoc: http://192.168.110.131:50000/redoc INFO: Started server process [1112945] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://192.168.110.131:50000 (Press CTRL+C to quit)

服务启动后,可通过访问http://192.168.110.131:50000/docs查看接口文档。

2. 使用客户端连接

mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集/01-19页测试版本.pdf" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch \ -r

总结

  • mineru-openai-server:vLLM 推理服务器,需要持续运行
  • mineru:客户端工具,连接服务器处理文档
  • 关系mineru-openai-server是服务端,mineru是客户端,通过 HTTP 通信

您现在可以尝试在另一个终端中使用mineru命令连接已启动的服务器了!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/26 21:24:10

如何用Unmask打破UGUI遮罩壁垒?解锁3类创新交互效果

如何用Unmask打破UGUI遮罩壁垒?解锁3类创新交互效果 【免费下载链接】UnmaskForUGUI A reverse masking solution for uGUI element in Unity. 项目地址: https://gitcode.com/gh_mirrors/un/UnmaskForUGUI 当常规遮罩无法实现透视效果时,如何突破…

作者头像 李华
网站建设 2026/7/29 12:07:53

音频时长超限怎么办?Emotion2Vec+ Large分段处理实战策略

音频时长超限怎么办?Emotion2Vec Large分段处理实战策略 1. 问题缘起:为什么30秒成了“天花板”? 你兴冲冲地拖进一段5分钟的客户通话录音,点击“ 开始识别”,结果界面弹出提示:“音频时长超出限制&#…

作者头像 李华
网站建设 2026/7/30 10:37:59

Sambert语音清晰度不够?后处理降噪模块集成教程

Sambert语音清晰度不够?后处理降噪模块集成教程 1. 为什么你需要关注语音清晰度问题 你刚部署好Sambert语音合成镜像,输入一段文字,点击生成,结果听上去总有点“蒙”——像是隔着一层毛玻璃说话,细节模糊、齿音发闷、…

作者头像 李华
网站建设 2026/7/29 8:29:51

革新《鸣潮》游戏体验:模组完全掌控指南

革新《鸣潮》游戏体验:模组完全掌控指南 【免费下载链接】wuwa-mod Wuthering Waves pak mods 项目地址: https://gitcode.com/GitHub_Trending/wu/wuwa-mod 《鸣潮》模组系统为玩家提供了丰富的游戏体验增强功能,通过合理配置各类模组&#xff0…

作者头像 李华
网站建设 2026/7/28 20:45:46

5个核心优势:Meep电磁仿真从基础建模到工程应用的实践指南

5个核心优势:Meep电磁仿真从基础建模到工程应用的实践指南 【免费下载链接】meep free finite-difference time-domain (FDTD) software for electromagnetic simulations 项目地址: https://gitcode.com/gh_mirrors/me/meep 如何精准模拟5G天线的电磁辐射特…

作者头像 李华