导语：OpenBMB团队推出的MiniCPM-V-2多模态大模型，以仅2.8B的参数量实现了媲美GPT-4V的部分能力，并可在手机等终端设备高效部署，标志着端侧智能进入"小而强"的新阶段。
【免费下载链接】MiniCPM-V-2项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-V-2
行业现状：随着大语言模型技术的飞速发展，多模态模型已成为人工智能领域的重要发展方向。然而，当前主流的多模态大模型如GPT-4V、Gemini Pro等普遍存在参数量庞大、计算资源消耗高、部署成本昂贵等问题，难以在手机、平板等终端设备上实现高效运行。这一现状限制了多模态AI能力在日常生活场景中的普及应用，如何在保证性能的同时实现模型的轻量化部署，成为行业亟待解决的关键课题。
产品/模型亮点：MiniCPM-V-2作为一款面向端侧部署的高效多模态大语言模型，展现出多项令人瞩目的技术优势。
首先，在性能表现上，MiniCPM-V-2达到了同类小模型中的顶尖水平。该模型基于SigLip-400M视觉编码器和MiniCPM-2.4B语言模型构建，通过perceiver resampler连接视觉与语言模块。在多个权威评测基准（包括OCRBench、TextVQA、MME、MMB、MathVista等）中，MiniCPM-V-2在70亿参数以下模型中均取得了最先进的性能。更令人印象深刻的是，在OpenCompass这一涵盖11项主流评测的综合评估中，它甚至超越了参数量更大的Qwen-VL-Chat 9.6B、CogVLM-Chat 17.4B和Yi-VL 34B等模型。
[如上图所示，MiniCPM-V 2.0在多个评测基准上的表现超越了许多参数量更大的模型。这张图表清晰地展示了MiniCPM-V-2在效率与性能之间取得的卓越平衡，凸显了其在小参数模型中的领先地位。
特别是在场景文字理解（OCR）能力方面，MiniCPM-V-2表现尤为突出，实现了与Gemini Pro相媲美的性能，并在OCRBench评测中创下开源模型的最佳成绩。这意味着用户可以直接通过手机摄像头识别并理解复杂场景中的文字信息，应用前景广阔。
其次，MiniCPM-V-2在模型可靠性方面实现了重要进展。针对多模态模型普遍存在的"幻觉"问题——即生成与图像内容不符的描述，MiniCPM-V-2采用了基于RLHF-V技术的多模态人类反馈强化学习，成为首个通过该技术实现行为对齐的端侧多模态大模型。这使得它在Object HalBench评测中，在防止幻觉生成方面达到了与GPT-4V相当的水平，大大提升了模型输出内容的可信度。
[从图中可以看出，MiniCPM-V 2.0在各类任务上均表现出色，尤其在OCR相关任务和防止幻觉方面有显著优势。这些结果有力地证明了MiniCPM-V-2不仅体积小巧，更在关键能力上达到了极高水准。
再者，MiniCPM-V-2具备处理高分辨率、任意宽高比图像的能力，最高可支持1344x1344分辨率（约180万像素）的图像输入。这得益于其采用的LLaVA-UHD技术，能够更好地感知图像中的细粒度视觉信息，如小物体和文字内容，为用户提供更精准的图像理解体验。
此外，高效部署是MiniCPM-V-2的核心优势之一。该模型能够在大多数GPU卡、个人计算机上高效运行，更重要的是，它可以成功部署在搭载Android和Harmony操作系统的手机等终端设备上。OpenBMB团队提供了在小米14 Pro等手机上运行的演示视频，展示了模型在端侧实时处理图像、回答问题的流畅体验，如识别地铁站信息、分析街景中的车辆等。
[该截图展示了MiniCPM-V 2.0在手机端运行的实际效果，左侧为识别地铁站信息，右侧为分析街景车辆。这直观地证明了大模型在消费级移动设备上落地应用的可行性，为用户带来了全新的AI交互方式。
最后，MiniCPM-V-2还支持中英文双语的强大多模态能力，这得益于VisCPM技术带来的跨语言多模态能力泛化，使其能够更好地服务于中文用户群体。
行业影响：MiniCPM-V-2的出现，无疑将对人工智能行业，特别是端侧AI应用领域产生深远影响。其一，它打破了"大模型必须大参数量"的固有认知，通过精巧的模型设计和高效的训练方法，在极小参数量下实现了优秀的性能，为未来模型的轻量化发展提供了重要参考。其二，端侧部署能力的实现，意味着用户可以在无需依赖云端服务器的情况下，在本地设备上享受强大的多模态AI服务，这不仅降低了服务延迟，更在数据隐私保护方面具有显著优势。其三，该模型的开源特性和详细的部署指南，将极大降低开发者的使用门槛，有望催生大量创新的移动端AI应用，推动多模态交互在日常生活场景中的普及，如智能助手、实时翻译、视觉搜索、无障碍辅助等。
结论/前瞻：MiniCPM-V-2以其"小而强"的特性，成功将GPT-4V级别的部分多模态能力带到了手机等终端设备，是端侧多模态大模型发展的一个重要里程碑。它不仅展现了在小参数模型中领先的综合性能、强大的OCR能力、优秀的抗幻觉能力和高分辨率图像处理能力，更重要的是验证了高性能多模态模型在端侧实时运行的可行性。随着技术的不断迭代，我们有理由相信，未来的端侧AI模型将在性能、效率和隐私保护等方面实现进一步优化，让更智能、更便捷、更安全的AI服务融入每个人的日常生活。MiniCPM-V-2的开源，也将吸引更多研究者和开发者投身于这一领域，共同推动端侧智能生态的繁荣发展。
【免费下载链接】MiniCPM-V-2项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-V-2
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
