利益相关:作者是文末提到的那款语音输入工具的开发团队成员。前面的方案对比和踩坑记录不涉及具体产品推荐,产品介绍放在文末。
一、为什么要用语音写 Prompt
现在用 AI 编程助手,越来越多的时间花在写自然语言上:描述需求、交代约束、解释 Bug 现场。这类文字的特点是长、要讲清来龙去脉,但不需要逐字精确,正好适合用嘴说。
难点不在「把语音转成文字」,而在下面几件事:
- 文字要能写进当前光标所在的位置:IDE、终端、浏览器里的 AI 对话框都要能写;
- 口语里的「嗯」「那个」「就是说」要去掉,否则 Prompt 很脏;
- 不能出错:不能写错窗口,不能误写进密码框,也不能把剪贴板弄乱。
二、三种技术方案
| 方案 | 典型例子 | 识别在哪里 | 口语整理 | 门槛 |
|---|---|---|---|---|
| 系统听写 | Windows 语音键入(Win+H) | 云端(微软官方说明用的是 Azure 在线语音识别,需要联网) | 只有自动标点;「流畅听写」目前只支持英语,且仅限 AI+ PC | 零配置 |
| 本地离线 ASR | CapsWriter-Offline | 本机(README 写明完全离线) | 热词、正则替换;可以另接 LLM 角色 | 要下载模型,服务端和客户端分开启动 |
| 云端 ASR + LLM 整理 | 各类 AI 语音输入工具 | 云端 | 有,可以选整理强度 | 装好就能用,通常按量或订阅收费 |
选型建议:
- 代码和数据不能出网:选本地离线方案,接受口语整理弱一些,或者自己接本地 LLM。
- 主要写 Prompt 和文档:云端整理的收益最大,口述的需求基本能直接发出去。
- 偶尔用:Win+H 够了。
三、踩坑记录
下面这些是我们在做 Windows 语音输入时踩过的坑,换哪种方案都会遇到。
坑 1:说着说着切了窗口,文字贴错地方
口述 Prompt 时,经常一边说一边切窗口去看代码。如果在录音结束时才去取当前焦点窗口,文字就会贴进刚切过去的那个窗口。
解决:在开始录音时记住目标窗口,结束时只往这个窗口写;如果目标已经失焦或者不可写,就不要强行写入。
坑 2:密码框、只读框
全局热键工具如果不做区分,焦点落在密码框时也会照常写入。建议提前识别密码框和只读框,遇到这类输入框直接跳过,不写入。
坑 3:写不进去时,结果去哪了
有些应用会限制别的程序往输入框写入。这种情况下要有兜底:把结果放进剪贴板,同时存一份副本,提示用户手动粘贴,不能静默丢掉。我们现在的做法是写入失败就自动复制,并保存一份副本。
坑 4:剪贴板被污染
很多工具是通过「写剪贴板 + 模拟粘贴」上屏的,副作用有两个:
- 语音文字进了
Win+V剪贴板历史,把历史刷满; - 用户原来复制的内容被覆盖了。
解决:语音文字不写进Win+V历史;需要的话可以恢复原剪贴板,但要确认文字写入成功后才恢复,否则写入失败时,用户连手动粘贴的兜底都没有。
坑 5:终端里也要能用
命令行版 AI 助手越来越多,语音输入不能只支持普通输入框,终端也要能写进去。另外,终端里经常要口述路径、命令、网址,这类内容一个字符都不能错,最好有专门的「精准」模式,不做润色,只管把符号写对。
坑 6:一次说太长
一次口述太长,中途想改就很难改,识别出错时损失也大。比较稳的做法是按「背景、目标、约束」分几段说,每段说完看一眼再接着说。
坑 7:技术名词识别错
框架名、内部服务名、英文缩写,都是容易识别错的地方。CapsWriter 用的是热词文件hot.txt。我们的做法是自定义词条,在本机做替换:
- 纠错:把常错的识别结果固定改成正确写法,比如总被识别成别的词的框架名;
- 口令:说一个短口令,输出一段预设文字,比如说「我的邮箱」就输出邮箱地址;常用的仓库地址、项目代号也可以这样设;
- 每条最多配 5 种说法,口音不同、说法不同都能对上。
坑 8:AI 整理过头
一个真实例子:口述里报了一串单号,AI 整理后,单号被改成了一段文字描述,原来的编号没了。所以涉及单号、编号、代码标识符这类内容时,建议用最轻的整理方式,或者直接关闭整理,输出识别原文。
四、口述 Prompt 的小技巧
- 按「背景 → 目标 → 约束 → 期望输出」的顺序说,比想到哪说到哪清楚得多;
- 不用追求逐字准确,大模型能容忍少量识别错误;
- 精确修改代码、定位到具体行,还是键盘更快。
五、我们做的工具
上面这些坑,我们在做PomeType时都碰到过。PomeType 是 Windows 上的 AI 语音输入工具,已经上架微软商店(中国区)。按住触发键说话,说完写进当前光标的位置,可以开 AI 整理去掉口头禅,这些是语音输入工具的基本功能,就不展开了。和写 Prompt 关系最大的是下面三个:
- 离线听写:可以下载两款离线模型,SenseVoice Small(约 228MB)和 Fun-ASR Nano(约 750MB)。断网也能听写,不耗时长,适合内网办公、代码不能出网的场景。
- 自定义词条:就是坑 7 里说的,口令输出和纠错都在本机替换,技术名词、仓库地址、邮箱这类内容说一次就对。
- 精准听写模式:专门用来口述网址、路径和命令,适合在终端里用。这个功能走云端,会消耗时长。
另外几个可能用得上的:鼠标中键或侧键可以设成触发键;没有麦克风的台式机可以扫码把手机当麦克风,手机和电脑都要联网,不用连同一个 Wi-Fi;说话时有实时字幕,边说边看识别得对不对。
- 收费:按分钟计费,没有订阅。具体价格以商店页为准。
- 局限:
- 开了离线模式只做基础转写,没有 AI 整理;要整理就得联网走云端。
- 精准听写、改写这类技能都走云端,会消耗时长。
- 只支持 Windows。