Lychee-Rerank部署教程：低显存（6GB）设备上的Qwen2.5-1.5B优化方案
1. 项目概述
Lychee-Rerank是一款基于Qwen2.5-1.5B模型的本地检索相关性评分工具，专为低显存设备优化设计。它能高效评估查询语句与文档集的相关性，适用于各类信息检索和文档筛选场景。
核心特点：
- 本地化运行：完全离线工作，无需网络连接
- 低显存需求：针对6GB显存设备优化
- 可视化界面：直观展示评分结果
- 批量处理：支持同时评估多个文档
2. 环境准备
2.1 硬件要求
- GPU：NVIDIA显卡，显存≥6GB
- 内存：建议≥16GB
- 存储空间：≥10GB可用空间
2.2 软件依赖
安装前请确保系统已配置：
- Python 3.8+
- CUDA 11.7+
- cuDNN 8.0+
推荐使用conda创建独立环境：
conda create -n lychee python=3.8 conda activate lychee3. 安装部署
3.1 基础安装
执行以下命令安装核心依赖：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 pip install transformers streamlit sentencepiece3.2 模型下载
下载优化后的Qwen2.5-1.5B模型：
git lfs install git clone https://huggingface.co/Qwen/Qwen1.5-1.5B3.3 工具部署
获取Lychee-Rerank源码：
git clone https://github.com/your-repo/lychee-rerank cd lychee-rerank4. 配置优化
4.1 显存优化设置
编辑config.py文件，添加以下参数：
model_config = { "device_map": "auto", "load_in_8bit": True, "torch_dtype": torch.float16 }4.2 启动参数调整
修改启动脚本run.sh：
export CUDA_VISIBLE_DEVICES=0 streamlit run app.py --server.port 8501 --browser.serverAddress 0.0.0.05. 使用指南
5.1 界面操作
启动服务后，浏览器访问localhost:8501进入操作界面：
输入区域：
- Instruction：自定义评分规则
- Query：输入查询语句
- Documents：每行一个候选文档
执行评分： 点击"Calculate Scores"按钮开始评估
结果查看：
- 按分数降序排列
- 颜色标记相关性等级
- 进度条显示分数比例
5.2 批量处理技巧
对于大量文档，建议：
- 单次处理不超过50条文档
- 长文档先进行分块处理
- 使用
preprocess.py脚本预处理文本
6. 常见问题解决
6.1 显存不足处理
若出现OOM错误，尝试：
# 在代码中添加 model.enable_input_require_grads() model.gradient_checkpointing_enable()6.2 性能优化建议
- 关闭不必要的系统进程
- 使用
nvidia-smi监控显存使用 - 定期清理缓存
6.3 其他问题
- 中文支持：确保文档编码为UTF-8
- 特殊符号：预处理时移除非常规字符
- 长文本：超过512token会自动截断
7. 总结
本教程详细介绍了在低显存设备上部署Lychee-Rerank的完整流程。通过Qwen2.5-1.5B模型优化和合理的配置调整，即使在6GB显存的设备上也能实现高效的文档相关性评分。
关键优势：
- 完全本地化，保障数据隐私
- 针对小显存设备的专门优化
- 直观的可视化交互界面
- 灵活的定制化能力
建议下一步：
- 尝试不同的Instruction模板
- 探索批量处理的最佳实践
- 根据具体场景调整评分阈值
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
