FST ITN-ZH数据可视化：文本数据标准化预处理
1. 简介与背景
在自然语言处理（NLP）任务中，原始中文文本常包含大量非标准表达形式，如“二零零八年八月八日”、“一百二十三”等。这些表达虽然对人类可读性强，但不利于机器解析和结构化处理。为此，逆文本标准化（Inverse Text Normalization, ITN）技术应运而生。
FST ITN-ZH 是一个基于有限状态转导器（Finite State Transducer, FST）的中文逆文本标准化系统，能够将口语化、文字化的数字、日期、时间、货币等表达自动转换为统一的标准格式。本文介绍由开发者“科哥”进行 WebUI 二次开发后的FST ITN-ZH 可视化应用，实现零代码操作，适用于数据清洗、语音识别后处理、智能客服等多个场景。
该工具的核心价值在于：
- ✅ 将自然语言中的数值表达转化为结构化数据
- ✅ 支持多种语义类型（日期、时间、金额、度量等）
- ✅ 提供图形界面，降低使用门槛
- ✅ 支持批量处理，提升数据预处理效率
2. 系统架构与运行方式
2.1 应用部署结构
本系统采用轻量级 Web 前端 + Python 后端服务的架构模式，整体运行于 Linux 服务器环境。核心组件包括：
- 前端界面：Gradio 框架构建的交互式 WebUI
- 后端引擎：基于 Kaldi FST 的中文 ITN 模型
- 运行环境：Python 3.8+，支持 CPU 推理
- 持久化路径：转换结果自动保存至服务器指定目录
2.2 启动与维护命令
如需启动或重启服务，请执行以下指令：
/bin/bash /root/run.sh此脚本会完成以下操作：
- 检查依赖库是否安装完整
- 加载 FST 模型到内存
- 启动 Gradio Web 服务，监听
7860端口
注意：首次加载模型可能需要 3~5 秒，后续请求响应速度极快（毫秒级）。
访问地址为：http://<服务器IP>:7860
3. 核心功能详解
3.1 功能一：单文本转换
使用流程
- 打开 WebUI 页面
- 切换至「📝 文本转换」标签页
- 在输入框中填写待转换文本
- 点击「开始转换」按钮
- 查看输出框中的标准化结果
示例演示
输入: 二零零八年八月八日早上八点半 输出: 2008年08月08日 8:30a.m.该功能适合调试验证、小规模文本处理。
3.2 功能二：批量文件转换
处理逻辑
当面对大规模数据时，可通过上传.txt文件实现批量处理。每行一条记录，系统逐行解析并输出对应标准化结果。
输入文件格式要求
- 文件编码：UTF-8
- 文件扩展名：
.txt - 每行一条独立文本
- 不含表头或额外标记
示例内容
二零零八年八月八日 一百二十三 早上八点半 一点二五元 二十五千克 负二 京A一二三四五输出行为
转换完成后，用户可点击「下载结果」获取带有时间戳命名的结果文件（如result_20250405_1423.txt），便于版本管理。
4. 高级参数配置说明
系统提供三项关键开关，用于控制转换粒度，满足不同业务需求。
| 参数名称 | 开启效果 | 关闭效果 | 适用场景 |
|---|---|---|---|
| 转换独立数字 | 幸运一百→幸运100 | 保持原样 | 数据结构化优先 |
| 转换单个数字 (0-9) | 零和九→0和9 | 保持原样 | 数字密集型文本 |
| 完全转换'万' | 六百万→6000000 | 600万 | 财务报表、统计分析 |
建议设置组合：
- 日常对话处理：三项全关
- 数据挖掘任务：三项全开
- 中文 OCR 后处理：开启“独立数字”和“单个数字”
5. 支持的转换类型与示例
5.1 日期标准化
将汉字年月日转换为阿拉伯数字格式，统一补零对齐。
输入: 二零一九年九月十二日 输出: 2019年09月12日支持格式：
- 年：四位数补全（如“零八”→“08”）
- 月/日：自动补零（“八月八日”→“08月08日”）
5.2 时间表达归一化
区分上午/下午，并转换为 12 小时制英文标识。
输入: 早上八点半 输出: 8:30a.m. 输入: 下午三点十五分 输出: 3:15p.m.5.3 数值转换
支持从个位到“亿”级的大数转换。
输入: 一千九百八十四 输出: 1984 输入: 六百万 输出: 600万 或 6000000（取决于“完全转换‘万’”开关）5.4 货币单位映射
根据币种自动添加符号前缀。
输入: 一点二五元 输出: ¥1.25 输入: 一百美元 输出: $1005.5 分数与数学表达
识别常见分数及正负号表达。
输入: 五分之一 输出: 1/5 输入: 负二 输出: -2 输入: 正五点五 输出: +5.55.6 度量单位简化
去除汉字单位，替换为国际通用缩写。
输入: 二十五千克 输出: 25kg 输入: 三十公里 输出: 30km5.7 车牌号码还原
保留汉字区域码，仅将数字部分转为阿拉伯数字。
输入: 京A一二三四五 输出: 京A12345 输入: 沪B六七八九零 输出: 沪B678906. 实际应用场景与技巧
6.1 长文本多类型混合处理
系统支持在同一段文本中识别并转换多个实体类型。
输入: 这件事发生在二零一九年九月十二日的晚上，大概八点半左右，涉及金额为一万二千元。 输出: 这件事发生在2019年09月12日的晚上，大概8:30左右，涉及金额为12000元。优势：无需分句预处理，直接端到端输出。
6.2 批量数据清洗最佳实践
对于日志、问卷、语音转写等大批量文本，推荐如下流程：
- 将原始数据整理为
.txt文件，每行一条 - 使用「批量转换」功能上传处理
- 下载结果后导入数据库或 Excel 进行下一步分析
- 结合正则表达式提取字段（如
\d{4}年\d{2}月\d{2}日匹配日期）
6.3 结果持久化策略
点击「保存到文件」按钮，系统会将当前输出内容写入服务器本地文件，路径通常为/root/results/目录下，文件名包含时间戳，避免覆盖。
提示：定期备份重要结果，防止容器重启导致数据丢失。
7. 常见问题与解决方案
7.1 转换结果不准确？
可能原因：
- 输入文本存在歧义（如“两百”是否指“200”）
- 高级设置未匹配实际需求
解决方法：
- 调整“高级设置”中的三个开关
- 检查输入是否符合普通话规范表达
- 避免使用方言词汇（如“咋天”、“前儿个”）
7.2 是否支持方言或变体？
目前系统支持以下标准表达形式：
- 简体数字：一、二、三
- 大写数字：壹、贰、叁（财务常用）
- 特殊变体：幺（一）、两（二）
不支持：地方口音、网络俚语、错别字等非规范表达。
7.3 转换速度慢？
首次转换延迟属于正常现象，原因是：
- 模型需从磁盘加载至内存
- FST 状态机初始化耗时
后续请求响应时间通常小于 100ms。
7.4 版权与使用声明
本项目承诺永久开源免费使用，但必须保留以下版权信息：
webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！任何衍生作品均需遵守此规定。
8. 界面布局与操作指引
8.1 主界面结构图解
┌─────────────────────────────────────────┐ │ [紫蓝渐变] 中文逆文本标准化 (ITN) │ │ webUI二次开发 by 科哥 │ ├─────────────────────────────────────────┤ │ [📝 文本转换] [📦 批量转换] │ │ │ │ ┌───────────┐ ┌───────────┐ │ │ │ 输入框 │ → │ 输出框 │ │ │ │ │ │ │ │ │ └───────────┘ └───────────┘ │ │ │ │ [开始转换] [清空] [复制] [保存] │ ├─────────────────────────────────────────┤ │ 🎯 快速示例 │ │ [日期] [时间] [数字] [货币] ... │ └─────────────────────────────────────────┘8.2 操作按钮功能说明
| 按钮 | 功能描述 |
|---|---|
| 开始转换 | 触发当前输入的标准化处理 |
| 清空 | 清除输入与输出区域内容 |
| 复制结果 | 将输出内容回填至输入框，便于连续编辑 |
| 保存到文件 | 将输出文本写入服务器本地文件 |
| 批量转换 | 处理上传的.txt文件 |
9. 总结
9. 总结
本文全面介绍了FST ITN-ZH 中文逆文本标准化系统的 WebUI 二次开发版本，涵盖其功能特性、使用方法、参数配置与典型应用场景。该工具通过可视化界面极大降低了技术使用门槛，使得非技术人员也能高效完成文本数据的标准化预处理工作。
核心价值总结如下：
- ✅ 实现了中文口语化表达到标准格式的精准映射
- ✅ 支持单条与批量两种处理模式，适应多样需求
- ✅ 提供灵活的高级选项，可定制转换行为
- ✅ 开源可用，具备良好的可扩展性与集成潜力
无论是语音识别后处理、OCR 文本清洗，还是大数据预处理流水线，FST ITN-ZH 都是一个值得信赖的工具选择。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
