1. 研究背景和意义
随着多模态大语言模型（MLLMs）的发展，构建一个统一的、通用的医学基础模型已成为趋势。这种模型旨在通过单一架构和共享参数处理多种医学任务（如问答、报告生成、分类等），从而摆脱传统“一任务一模型”的繁琐开发模式。然而，在医学领域，由于任务和模态的高度专业化与多样性，构建由于的数据集并在单一模型中联合训练极具挑战性。Uni-Med的研究意义在于探索如何在一个统一的框架下高效地协同学习多个医学任务，推动通用医学人工智能的发展 1111。
2. 当前研究综述
目前的医学基础模型研究主要分为两类：一类是像Med-Flamingo、LLaVA-Med这样基于开源大模型进行医学领域微调的模型，它们通常需要针对特定任务进行进一步微调；另一类是像RadFM、Med-PaLM M这样的通用模型，试图直接联合训练。然而，现有的多任务学习研究（如MoE-LLaVA等）在引入混合专家（MoE）架构时，主要集中在改进语言模型（LLM）部分，却忽视了连接多模态特征的关键组件——连接器（Connector）。此外，对于多任务学习中常见的任务干扰（Tug-of-war）问题，目前缺乏定量的可解释性分析 。
图1：大语言多模态模型（MLLMs）中多任务学习的三种假设及相应的架构实现。(a) 协同假设。(b)-(c) 分别为大语言模型（LLM）和连接器中的冲突假设。(d)-(e) 分别为大语言模型（LLM）和连接器中的冲突 - 协同共存假
