立知-lychee-rerank-mm效果实测：同一Query下不同Document得分分布图

立知-lychee-rerank-mm效果实测：同一Query下不同Document得分分布图

1. 多模态重排序模型简介

立知-lychee-rerank-mm是一款轻量级多模态重排序工具，它能同时理解文本语义和图像内容，为文本或图像类候选内容按与查询的匹配度进行打分排序。与纯文本重排序模型相比，它的优势在于：

• 多模态理解：能同时处理文本和图像内容
• 精准排序：比纯文本模型更准确地判断相关性
• 高效运行：速度快、资源占用低
• 应用广泛：适用于搜索、推荐、问答等多种场景

这个工具特别适合解决"找得到但排不准"的问题，比如在搜索引擎中，当用户搜索"猫咪玩球"时，它能将最贴合的图文内容排到前面。

2. 快速上手指南

2.1 启动服务

启动lychee-rerank-mm非常简单：

1. 打开终端，输入命令：

   lychee load

2. 等待10-30秒，看到"Running on local URL"提示即表示启动成功

2.2 访问界面

在浏览器中打开以下地址即可使用：

http://localhost:7860

2.3 基本功能使用

界面提供两种主要功能模式：

1. 单文档评分：判断单个文档与查询的相关性
2. 批量重排序：对多个文档按相关性排序

3. 效果实测：得分分布分析

3.1 测试方法

为了全面评估lychee-rerank-mm的性能，我们设计了以下测试方案：

1. 固定一个查询(Query)
2. 准备10个不同相关度的文档(Documents)
3. 记录每个文档的得分
4. 分析得分分布情况

3.2 测试案例

我们以"人工智能是什么？"作为查询，准备了以下10个文档：

1. AI是人工智能的缩写，指由机器展示的智能
2. 今天天气晴朗，适合外出
3. 机器学习是AI的一个分支
4. 我喜欢吃苹果
5. 人工智能是模拟人类智能的计算机系统
6. 深度学习使用神经网络进行学习
7. 北京是中国的首都
8. 自然语言处理让计算机理解人类语言
9. 这本书讲述二战历史
10. 计算机视觉让机器"看"懂图像

3.3 得分结果

运行批量重排序后，得到以下得分分布：

3.4 分布图分析

从得分分布可以看出：

1. 高度相关文档（得分>0.7）：6个，全部与人工智能主题直接相关
2. 低度相关文档（得分<0.4）：4个，内容与查询完全无关
3. 无中等相关文档：得分呈现明显的两极分化

这种分布表明lychee-rerank-mm能够：

• 准确识别与查询高度相关的内容
• 有效过滤无关内容
• 在相关性判断上具有较高的区分度

4. 多模态能力测试

4.1 图文混合评分

我们测试了模型对图文混合内容的处理能力：

查询：上传一张猫的照片
文档："这是一只暹罗猫，特点是蓝色眼睛和重点色毛发"

结果：得分0.88，表明模型能准确判断图片与文字描述的匹配度

4.2 纯图片评分

查询：寻找相似的风景照片
文档：上传一张海滩日落照片

结果：当与海滩相关的查询匹配时，得分0.83；与城市景观查询匹配时，得分仅0.22

5. 实际应用建议

基于测试结果，我们给出以下使用建议：

1. 搜索引擎优化：将得分>0.7的内容优先展示
2. 内容推荐：可考虑将得分0.4-0.7的内容作为补充推荐
3. 客服系统：仅采用得分>0.7的回复作为最终答案
4. 图片检索：结合得分和视觉相似度进行综合排序

6. 总结

通过本次实测，我们可以得出以下结论：

1. lychee-rerank-mm在相关性评分上表现优异，能清晰区分相关与无关内容
2. 得分分布呈现明显的层级区分，便于制定应用策略
3. 多模态处理能力强大，能同时理解文本和图像内容
4. 轻量级设计使其适合实际部署应用

对于需要内容排序的场景，lychee-rerank-mm是一个高效可靠的解决方案。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。