前言
本项目研发面向医学教育的医患沟通模拟与评价系统,基于大模型实现智能交互、个性化病例模拟和评分,为医学生提供沉浸式医患沟通实训场景,解决线下标准化病人资源稀缺的问题,提升医学生医患沟通实操能力。本人负责UE5前端工作,语音输入、语音输出功能的制作、UI面板的搭建(主场景、SEGUE评分面板、聊天框等)。本周重点完成了全部UI面板的搭建工作。
UI面板大致分为三个界面:主菜单界面、聊天界面以及SEGUE评分面板界面。
一、主菜单界面的搭建
完成了主场景的UI基础搭建,支持场景自主选择进行对话测试,目前暂定为三个场景,如后续添加场景,可以设计一个轮播面板,供场景选择使用。
二、聊天界面的优化
完成聊天整体布局设计,包含患者信息展示区、对话触发区及系统设置入口。实现主场景与子面板的交互逻辑,确保面板可正确打开、关闭及层级管理。已搭建对话历史展示区与消息输入区,后续待实现消息气泡的左右区分(医患双方)。支持文本消息的动态添加与滚动更新。
效果展示:
点击右上角的设置按钮后,设置面板淡入,显示设置选项可供点击;点击关闭按钮后,设置面板淡出。
三、SEGUE评分面板实现
按照SEGUE量表框架完成评分面板的UI搭建,涵盖成绩总览、历史回顾、问诊技巧三个功能的按键以及覆层,点击相应按钮就会出现对应的面板,后续待实现面板内容的填充以及WebUI连入前端实现内容的实时更新。
通过蓝图连接和动画效果,实现各个面板的丝滑切换,点击同一按钮两次可将该面板退出,点击不同按钮不会发生冲突,各面板之间不会相互覆盖,避免信息堆叠导致的卡顿。
效果展示:
后续任务
1.对接语音输入模块(麦克风采集、实时语音转文字API),完成语音输入UI状态反馈(录音动效、波形显示)。
2.实现语音输出功能(将大模型返回的文本转为语音并播放),集成至聊天框消息流中。
3.优化UI交互细节,进一步完善UI功能,如:与后端关联的场景的选择切换;消息气泡的冒出以及左右区分(医患双方);面板内容的填充以及WebUI连入前端实现内容的实时更新等。
4.配合后端调试评分逻辑,完成SEGUE评分与对话数据的关联存储,将具体的评分内容以及功能集成到前端。