EndoChat是专为内窥镜手术设计的多模态大语言模型，支持五种对话范式和七种手术理解任务。团队构建了Surg-396K数据集，创新应用混合视觉标记引擎和视觉对比机制。实验证明其在手术理解和对话能力上优于现有模型，获得专业外科医生积极评价。作为开源工具，EndoChat为手术培训提供了新解决方案，展现了大模型在医疗领域的应用潜力。
EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery
摘要
EndoChat是一种创新的多模态大语言模型（MLLM），专为内窥镜手术场景设计，支持五种对话范式和七种手术场景理解任务。通过构建Surg-396K数据集，EndoChat在手术培训中展现出卓越性能，获得专业外科医生的积极反馈。本文将详细介绍EndoChat的技术创新与应用潜力 。https://github.com/gkw0010/EndoChat
正文
一、引言：内窥镜手术培训的挑战与机遇
机器人辅助手术（RAS）以其高精度、低创伤和快速恢复的优势，正在改变现代医疗格局。然而，外科医生在操作机器人系统时面临巨大挑战，尤其是在技能培训方面。传统培训依赖专业外科医生的实时指导，但由于后者时间有限，培训效率常常受限 。为此，人工智能（AI）对话系统被引入手术培训领域，试图通过视觉问答（VQA）技术解决这一问题。然而，现有系统局限于结构化问答，无法适应多样化的培训需求 。
EndoChat的诞生正是为了填补这一空白。作为一款专为内窥镜手术设计的多模态大语言模型（MLLM），EndoChat通过整合视觉与语言信息，提供灵活、实时的培训支持，极大地提升了手术培训的质量与效率 。本文将从技术架构、数据集构建、实验结果等多个维度，全面剖析EndoChat的创新之处。
二、EndoChat的核心创新：多模态大语言模型在手术中的应用
1. 多模态大语言模型（MLLM）的潜力
近年来，多模态大语言模型在医疗辅助诊断与决策中展现出强大潜力。MLLM能够处理图像、文本等多种模态数据，进行复杂推理和理解，尤其适用于手术场景。与传统VQA系统不同，MLLM支持开放式问答和多轮对话，能够根据上下文动态调整回答，模拟专业外科医生的指导过程 。
2. EndoChat的功能与目标
EndoChat是一款交互式多模态聊天工具，专为内窥镜手术培训与教育设计。用户可以通过上传图像并提出问题，与EndoChat互动，从而实现对手术场景的全面理解 。EndoChat支持五种对话范式，包括单短语问答、详细描述、视觉问答、基于区域的问答以及定位问答，确保覆盖大多数自然语言对话场景 。此外，它还定义了七个与手术相关的子任务，涵盖从基本观察到高级分析的全面手术场景理解 。
3. 技术架构：混合视觉标记引擎与视觉对比机制
EndoChat在模型架构上进行了多项创新。其核心组件之一是混合视觉标记引擎（MVTE），通过多尺度视觉信息提取与融合，增强了模型在高分辨率图像中的视觉-语言对齐能力。MVTE采用多视觉塔结构，提取并交互视觉标记，显著提升了手术场景中的信息处理能力 。
此外，为了减少模型在复杂内窥镜手术场景中的“对象幻觉”现象，EndoChat引入了视觉对比机制。通过对比原始图像与畸变图像的输出分布，模型能够纠正统计偏差与语言先验带来的误判，确保视觉信息与语言输出的高度一致性 。
（Figure 1展示了EndoChat的概览，包括交互界面与Surg-396K数据集的训练示例，和EndoChat的工作流程）
三、Surg-396K数据集：EndoChat的基石
1. 数据集构建的必要性
当前手术MLLM面临两大挑战：一是培训中的多样化查询难以通过预定义格式或通用描述覆盖；二是通用视觉编码器在手术场景中的领域差异导致理解不足。为此，EndoChat团队构建了Surg-396K数据集，专门针对手术场景设计，支持开放式、知识驱动的视觉-语言交互 。
2. 数据集构成与特点
Surg-396K包含41.4K张图像和396K个图像-指令对，涵盖多种内窥镜手术类型，如腹腔镜胆囊切除术、肾切除术和粘膜下层剥离术。数据集通过五个关键步骤构建：属性分析、信息提取、指令调整数据生成、多样化对话生成和数据清洗，确保数据的全面性与可靠性 。
数据集整合了三个公共数据集：EndoVis-VQLA、CoPESD和Cholec80-VQA，并利用GPT-4V扩展了多模态指令数据，形成五种对话类型和七个属性相关的子任务 。
（Table 2比较了Surg-396K与其他手术场景理解数据集的规模与多样性。展示了Surg-396K在图像数量、标注规模及手术类型上的优势）
3. 对话范式与子任务设计
Surg-396K设计了五种对话范式，以模拟真实手术培训中的交互需求。例如，“单短语问答”提供简洁直接的回答，适用于快速查询；“详细描述”则覆盖手术场景的所有属性，模拟实时观察的全面解释 。七个子任务则从仪器数量、类别到运动方向、目标组织等多个维度，评估模型对手术场景的理解深度 。
四、实验结果与专家评价
1. 性能对比：超越现有模型
EndoChat在多种对话范式和手术场景理解任务中表现出色。通过与商业及开源MLLM的对比实验，EndoChat在手术理解准确性和对话能力上均显著优于现有通用及医疗MLLM 。其在七个属性相关子任务上的表现达到最先进水平，进一步验证了模型架构设计的有效性 。
2. 专业外科医生的反馈
EndoChat还邀请了经验丰富的内窥镜外科医生进行独立评估。结果显示，医生对EndoChat在手术培训中的辅助作用持积极态度，认为其有潜力成为有效的培训工具 。这一反馈表明，EndoChat不仅在技术层面领先，也在实际应用中展现出巨大价值。
五、EndoChat的未来潜力与应用前景
EndoChat的问世标志着MLLM在手术培训领域的重大进展。其灵活的对话框架和上下文感知能力，能够为培训者提供智能化支持，部分替代专业外科医生的指导角色，从而减轻医生负担，提升培训效率 。未来，EndoChat有望进一步扩展至其他手术领域，推动机器人辅助手术的自动化与智能化发展 。
（Figure 3展示了EndoChat的详细架构，包括多尺度图像处理与混合视觉编码器的设计）
六: 论文评价
优点与创新
- 高质量的多模态数据集：构建了Surg-396K数据集，包含41K图像和396K指令跟随注释，涵盖多种手术类型和对话范式。
- 多尺度视觉令牌引擎：提出了Mixed Visual Token Engine（MVTE），增强了多尺度视觉信息的提取和融合，提高了模型在复杂内窥镜手术场景中的理解能力。
- 基于视觉对比的幻觉缓解机制：引入了视觉对比方法，通过比较原始和扭曲的视觉输入来减少对象幻觉，提高了生成响应的一致性。
- 灵活的多模态对话框架：EndoChat支持五种对话范式和七种与手术相关的子任务，能够适应不同的交互需求，支持广泛的手术任务。
- 专家评估：通过经验丰富的内窥镜医师进行评估，结果显示EndoChat在提高手术训练和教育方面的潜力得到了认可。
- 开源模型和数据：计划开源模型权重、训练代码和数据，促进多模态AI系统在手术领域的发展。
不足与反思
- 独特手术案例数量有限：尽管拥有大量手术图像数据库，但包含的独特手术案例相对较少，可能影响模型的泛化能力。
- 计算资源依赖：多模态大型语言模型通常依赖于大量计算资源，这在资源受限的边缘环境中部署是一个挑战。
- 隐私和伦理问题：随着更多样化数据的引入，需要仔细研究和审查临床数据的隐私和伦理使用，以确保应用过程中的合规性。
- 七: 关键问题及回答
问题1：EndoChat MLLM在数据集构建方面有哪些创新？
EndoChat MLLM在数据集构建方面进行了多项创新。首先，作者构建了Surg-396K数据集，该数据集包含41K图像和396K指令跟随注释，涵盖了多种手术类型和对话范式。其次，数据集通过系统提取手术信息和生成结构化注释，确保标注的全面性和准确性。此外，作者整合了三个公开数据集：EndoVis-VQLA、CoPESD和Cholec80-VQA，并通过GPT-4V生成多样化的指令调优数据，以模拟真实世界场景中的多样化查询。
问题2：EndoChat MLLM中的混合视觉令牌引擎（MVTE）是如何设计的？其优势是什么？
EndoChat MLLM中的混合视觉令牌引擎（MVTE）旨在更好地提取和融合多尺度视觉信息。MVTE通过多个视觉塔提取、交互和融合视觉令牌，从而提高视觉信息的提取效果。具体来说，MVTE首先对输入图像进行多尺度处理，生成不同分辨率的子图像，然后通过混合视觉编码器提取源令牌。接下来，MVTE使用线性-ReLU-线性网络生成上下文注意力图，并通过矩阵乘法计算输出视觉令牌，最后将这些令牌与源令牌进行空间拼接，得到增强后的图像令牌。MVTE的设计使得LLM能够生成更全面的特征，从而提高其在复杂手术场景中的理解和推理能力。
问题3：EndoChat MLLM中的视觉对比度机制是如何工作的？其效果如何？
EndoChat MLLM中的视觉对比度机制通过比较原始和扭曲视觉输入的输出来减少模型幻觉。具体来说，视觉对比度机制生成两个并行的输出分布：一个基于原始视觉输入，另一个基于对原始输入应用高斯噪声生成的扭曲输入。通过计算这两个分布之间的对数几率差异，生成一个对比度概率分布。为了优化令牌选择过程，引入了一个自适应约束，确保在高概率令牌被保留的同时，减少低概率令牌的影响。实验结果表明，视觉对比度机制显著减少了模型幻觉，提高了生成响应的语义准确性和上下文相关性。
八、总结
EndoChat通过创新的多模态大语言模型架构和Surg-396K数据集，为内窥镜手术培训提供了全新解决方案。其在对话能力、场景理解及实际应用中的优异表现，得到了专业领域的认可。作为一款开源工具，EndoChat的数据集与模型已公开发布，欢迎广大研究者与从业者共同探索其潜力 。
最后
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
