FST ITN-ZH部署方案：混合部署

FST ITN-ZH部署方案：混合部署

1. 简介与背景

中文逆文本标准化（Inverse Text Normalization, ITN）是语音识别后处理中的关键环节，其目标是将语音识别系统输出的口语化、非结构化中文表达转换为标准书面语和数字格式。例如，将“二零零八年八月八日”自动转为“2008年08月08日”，或将“一百二十三”转为“123”。

FST ITN-ZH 是基于有限状态转导器（Finite State Transducer, FST）构建的高性能中文ITN工具，具备高精度、低延迟的特点。本文介绍由开发者“科哥”完成的WebUI二次开发版本，实现了图形化操作界面，并支持单条文本转换与批量文件处理，极大提升了使用便捷性。

该系统适用于ASR后处理、智能客服、语音助手、数据清洗等场景，已在多个实际项目中验证其稳定性与实用性。

2. 系统架构与部署方式

2.1 整体架构设计

本系统采用混合部署模式，结合本地服务与轻量级前端界面，整体结构如下：

[用户浏览器] ↓ (HTTP请求) [Gradio WebUI] ←→ [FST ITN-ZH 核心引擎] ↓ [Python运行时环境]

• 前端层：基于 Gradio 构建的可视化 WebUI，提供交互式页面。
• 逻辑层：Python 脚本调用 FST 模型进行规则匹配与转换。
• 模型层：预编译的 FST 规则集合，涵盖日期、时间、数字、货币等多种类型。
• 部署方式：容器内运行或裸机部署，通过run.sh启动脚本统一管理。

2.2 部署流程说明

启动/重启应用指令

/bin/bash /root/run.sh

此脚本负责： - 检查依赖环境（Python ≥3.8、gradio、openfst 等） - 加载 FST 模型文件 - 启动 Gradio 服务并监听端口7860

访问地址

在浏览器中打开：

http://<服务器IP>:7860

注意：确保防火墙已开放 7860 端口，且服务器具备公网IP或局域网可达。

3. 功能模块详解

3.1 文本转换功能

使用步骤

1. 打开 WebUI 页面
2. 切换至「📝 文本转换」标签页
3. 在输入框中填写待转换文本
4. 点击「开始转换」按钮
5. 查看输出结果

示例演示

输入: 二零零八年八月八日早上八点半 输出: 2008年08月08日 8:30a.m.

该功能适合少量文本的快速测试与调试。

3.2 批量转换功能

使用场景

当需要处理大量历史数据、日志记录或语音识别结果时，推荐使用批量转换功能。

操作流程

1. 准备.txt文件，每行一条原始文本
2. 进入「📦 批量转换」标签页
3. 点击「上传文件」选择文本文件
4. 点击「批量转换」触发处理
5. 完成后点击「下载结果」获取标准化后的文件

输入文件示例

二零零八年八月八日 一百二十三 早上八点半 一点二五元 二十五千克 京A一二三四五

输出结果示例

2008年08月08日 123 8:30a.m. ¥1.25 25kg 京A12345

优势：支持千行级文本一次性处理，输出文件以时间戳命名，便于归档。

3.3 快速示例与一键填充

为提升用户体验，界面底部提供常用示例按钮，点击即可自动填充典型输入内容：

此设计显著降低新用户的学习成本，实现“即点即用”。

4. 高级设置与参数调节

系统提供三项可配置选项，用于精细化控制转换行为。

4.1 转换独立数字

• 开启效果：幸运一百→幸运100
• 关闭效果：幸运一百→幸运一百

适用场景：若上下文强调语义完整性（如品牌名、俗语），建议关闭。

4.2 转换单个数字 (0–9)

• 开启效果：零和九→0和9
• 关闭效果：零和九→零和九

说明：影响单字数字的替换策略，常用于避免过度转换造成语义断裂。

4.3 完全转换'万'

• 开启效果：六百万→6000000
• 关闭效果：六百万→600万

工程建议：金融类系统建议开启；日常对话处理可保持关闭以保留可读性。

5. 支持的转换类型详述

5.1 日期标准化

将中文年月日表达转换为 ISO 兼容格式。

输入: 二零一九年九月十二日 输出: 2019年09月12日

支持格式： - 年：四位数字（含“二零”、“两千”变体） - 月/日：自动补零（“八月”→“08月”）

5.2 时间表达归一化

区分上午/下午，统一为 12 小时制英文标记。

输入: 下午三点十五分 输出: 3:15p.m.

支持关键词： - “早上”、“上午” → a.m. - “下午”、“晚上” → p.m.

5.3 数字转换

递归解析中文数词结构，支持亿级单位。

输入: 一千九百八十四 输出: 1984

内部机制： - 分段处理：“千”、“百”、“十”逐级拆解 - 支持“两”代替“二”、“幺”代替“一”

5.4 货币符号映射

根据币种自动添加对应符号。

输入: 一点二五元 输出: ¥1.25 输入: 一百美元 输出: $100

支持： - 元 → ¥ - 美元 → $ - 欧元 → €（扩展预留）

5.5 分数与度量单位

分数转换

输入: 五分之一 输出: 1/5

规则：分子/分母分别转为阿拉伯数字。

度量单位简化

输入: 三十公里 输出: 30km

常见单位映射： - 千克 → kg - 米 → m - 公里 → km - 吨 → t

5.6 数学表达式处理

识别正负号及小数表达。

输入: 负二 输出: -2 输入: 正五点五 输出: +5.5

适用于教育、科技类文本处理。

5.7 车牌号码规范化

保留汉字部分，仅转换字母与数字。

输入: 京A一二三四五 输出: 京A12345

特点： - 不改变区域代码顺序 - 数字部分严格按位替换

6. 实际应用技巧

6.1 长文本多类型混合处理

系统支持在同一段落中识别多种实体并分别转换。

输入: 这件事发生在二零一九年九月十二日的晚上，大概八点半左右，涉及金额为一万二千元。 输出: 这件事发生在2019年09月12日的晚上，大概8:30左右，涉及金额为12000元。

技术实现：基于FST的状态跳转机制，实现多模式串行匹配。

6.2 大规模数据批处理建议

对于超过10,000行的数据集，建议遵循以下最佳实践：

1. 分片上传：每批次不超过5000行，防止内存溢出
2. 命名规范：输入文件命名为input_YYYYMMDD.txt
3. 结果校验：下载后使用脚本比对行数是否一致
4. 错误重试：失败时检查编码格式（应为 UTF-8）

6.3 结果持久化保存

点击「保存到文件」按钮，系统会将当前输出内容写入服务器指定目录：

/output/result_20250405_1430.txt

文件名包含时间戳，便于追溯与版本管理。

7. 常见问题与解决方案

7.1 Q&A 汇总

7.2 性能优化建议

• 并发访问：若多人同时使用，建议部署 Nginx 反向代理 + Gunicorn 多工作进程
• 资源监控：定期查看内存占用，避免长时间运行导致泄漏
• 日志记录：启用日志功能可追踪异常输入与转换失败项

8. 界面布局与操作说明

8.1 主界面结构图解

┌─────────────────────────────────────────┐ │ [紫蓝渐变] 中文逆文本标准化 (ITN) │ │ webUI二次开发 by 科哥 │ ├─────────────────────────────────────────┤ │ [📝 文本转换] [📦 批量转换] │ │ │ │ ┌───────────┐ ┌───────────┐ │ │ │ 输入框 │ → │ 输出框 │ │ │ │ │ │ │ │ │ └───────────┘ └───────────┘ │ │ │ │ [开始转换] [清空] [复制] [保存] │ ├─────────────────────────────────────────┤ │ 🎯 快速示例 │ │ [日期] [时间] [数字] [货币] ... │ └─────────────────────────────────────────┘

8.2 操作按钮功能说明

9. 技术支持与开源协议

9.1 开发者联系方式

如有功能建议、Bug反馈或定制需求，请联系：

• 微信：312088415
• 开发者：科哥

9.2 开源许可证

本项目基于Apache License 2.0开源发布，允许自由使用、修改与分发。

特别要求：任何衍生作品必须保留原始版权声明：

webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！

10. 总结

FST ITN-ZH 中文逆文本标准化系统通过融合有限状态机的强大匹配能力与 Gradio 的友好交互设计，成功实现了从命令行工具到生产级Web服务的跨越。本次由“科哥”主导的二次开发，不仅增强了可用性，更大幅降低了技术门槛。

核心价值总结如下：

1. 高准确性：基于FST的规则引擎保障了复杂语境下的正确转换。
2. 易用性强：图形界面+批量处理+快速示例，满足不同用户需求。
3. 灵活配置：三项高级参数支持场景化调优。
4. 稳定可靠：已在多个真实业务中长期运行验证。

无论是个人研究、教学演示还是企业集成，该方案均具备良好的适应性和扩展潜力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。