news 2026/4/24 18:35:39

山东大学软件学院创新项目实训记录 —— 基于UE与LLM的医患沟通模拟与评价系统(三)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
山东大学软件学院创新项目实训记录 —— 基于UE与LLM的医患沟通模拟与评价系统(三)

前言

本项目研发面向医学教育的医患沟通模拟与评价系统,基于大模型实现智能交互、个性化病例模拟和评分,为医学生提供沉浸式医患沟通实训场景,解决线下标准化病人资源稀缺的问题,提升医学生医患沟通实操能力。本人负责UE5前端工作,语音输入、语音输出功能的制作、UI面板的搭建(主场景、SEGUE评分面板、聊天框等)。本周重点完成了全部UI面板的搭建工作。

UI面板大致分为三个界面:主菜单界面、聊天界面以及SEGUE评分面板界面。

一、主菜单界面的搭建

完成了主场景的UI基础搭建,支持场景自主选择进行对话测试,目前暂定为三个场景,如后续添加场景,可以设计一个轮播面板,供场景选择使用。

二、聊天界面的优化

完成聊天整体布局设计,包含患者信息展示区、对话触发区及系统设置入口。实现主场景与子面板的交互逻辑,确保面板可正确打开、关闭及层级管理。已搭建对话历史展示区与消息输入区,后续待实现消息气泡的左右区分(医患双方)。支持文本消息的动态添加与滚动更新。

效果展示:

点击右上角的设置按钮后,设置面板淡入,显示设置选项可供点击;点击关闭按钮后,设置面板淡出。

三、SEGUE评分面板实现

按照SEGUE量表框架完成评分面板的UI搭建,涵盖成绩总览、历史回顾、问诊技巧三个功能的按键以及覆层,点击相应按钮就会出现对应的面板,后续待实现面板内容的填充以及WebUI连入前端实现内容的实时更新。

通过蓝图连接和动画效果,实现各个面板的丝滑切换,点击同一按钮两次可将该面板退出,点击不同按钮不会发生冲突,各面板之间不会相互覆盖,避免信息堆叠导致的卡顿。

效果展示:

后续任务

1.对接语音输入模块(麦克风采集、实时语音转文字API),完成语音输入UI状态反馈(录音动效、波形显示)。

2.实现语音输出功能(将大模型返回的文本转为语音并播放),集成至聊天框消息流中。

3.优化UI交互细节,进一步完善UI功能,如:与后端关联的场景的选择切换;消息气泡的冒出以及左右区分(医患双方);面板内容的填充以及WebUI连入前端实现内容的实时更新等。

4.配合后端调试评分逻辑,完成SEGUE评分与对话数据的关联存储,将具体的评分内容以及功能集成到前端。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!