ERNIE-4.5-0.3B-PT实战教程：用chainlit快速构建内部知识问答Bot
1. 环境准备与快速部署
在开始构建知识问答Bot之前，我们需要确保环境已经正确配置。ERNIE-4.5-0.3B-PT模型已经通过vllm部署完成，我们可以通过以下步骤验证服务是否正常运行。
首先，检查模型服务日志：
cat /root/workspace/llm.log如果看到类似下面的输出，说明模型已经成功部署：
[INFO] Model loaded successfully [INFO] API server started on port 80002. 安装chainlit并创建应用
chainlit是一个简单易用的Python库，可以快速为AI模型构建交互式界面。我们需要先安装它：
pip install chainlit创建一个新的Python文件app.py，这是我们的问答应用入口：
import chainlit as cl from vllm import LLM, SamplingParams # 初始化模型 llm = LLM(model="ERNIE-4.5-0.3B-PT") sampling_params = SamplingParams(temperature=0.7, top_p=0.9)3. 构建问答功能
接下来，我们需要实现问答的核心逻辑。在app.py中添加以下代码：
@cl.on_message async def main(message: str): # 创建响应消息 response = await cl.Message(content="").send() # 生成回答 output = llm.generate([message], sampling_params) answer = output[0].outputs[0].text # 更新响应消息 await cl.Message(content=answer).send()这段代码做了以下几件事：
- 监听用户输入的消息
- 初始化一个空响应
- 调用ERNIE模型生成回答
- 将生成的回答发送给用户
4. 启动应用
现在我们可以启动chainlit应用了。在终端运行：
chainlit run app.py -w-w参数会自动打开浏览器窗口，显示问答界面。你应该能看到一个简洁的聊天界面，可以开始提问了。
5. 优化问答体验
为了让问答体验更好，我们可以对应用做一些优化：
5.1 添加系统提示
修改app.py，在开头添加系统提示：
@cl.on_chat_start async def start(): await cl.Message( content="您好！我是基于ERNIE-4.5的知识问答助手，请问有什么可以帮您？" ).send()5.2 处理长文本
ERNIE-4.5-0.3B-PT模型对长文本处理效果很好，我们可以添加分块处理：
@cl.on_message async def main(message: str): response = await cl.Message(content="").send() # 分块处理长文本 chunks = [message[i:i+512] for i in range(0, len(message), 512)] full_answer = "" for chunk in chunks: output = llm.generate([chunk], sampling_params) full_answer += output[0].outputs[0].text await cl.Message(content=full_answer).send()5.3 添加历史记录
为了让对话更连贯，可以添加简单的对话历史：
@cl.on_chat_start async def start(): cl.user_session.set("history", []) @cl.on_message async def main(message: str): history = cl.user_session.get("history") history.append({"role": "user", "content": message}) # 将历史记录作为上下文 context = "\n".join([f"{h['role']}: {h['content']}" for h in history[-3:]]) prompt = f"{context}\nassistant:" output = llm.generate([prompt], sampling_params) answer = output[0].outputs[0].text history.append({"role": "assistant", "content": answer}) await cl.Message(content=answer).send()6. 部署与分享
完成开发后，你可以通过以下方式分享你的知识问答Bot：
- 将应用打包成Docker镜像
- 使用云服务部署
- 分享chainlit提供的公开链接（如果在内网）
对于团队内部使用，最简单的部署方式是：
nohup chainlit run app.py --port 8000 &这样应用就会在后台运行，团队成员可以通过http://服务器IP:8000访问。
7. 总结
通过本教程，我们完成了以下工作：
- 验证了ERNIE-4.5-0.3B-PT模型的部署状态
- 使用chainlit快速构建了问答界面
- 实现了基本的问答功能
- 优化了用户体验
- 探讨了部署方案
这个知识问答Bot可以轻松集成到企业内部系统，帮助员工快速获取信息。ERNIE-4.5-0.3B-PT强大的语言理解能力，加上chainlit简洁的界面，让构建AI应用变得非常简单。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
