FST ITN-ZH部署教程：构建智能文本处理系统

FST ITN-ZH部署教程：构建智能文本处理系统

1. 简介与背景

中文逆文本标准化（Inverse Text Normalization, ITN）是语音识别、自然语言处理和智能对话系统中的关键预处理环节。其核心任务是将口语化或非标准的中文表达转换为结构化的标准格式，例如将“二零零八年八月八日”转换为“2008年08月08日”，或将“早上八点半”转为“8:30a.m.”。

本文介绍的是FST ITN-ZH 中文逆文本标准化系统的 WebUI 部署与使用方法，该版本由开发者“科哥”进行二次开发，提供了图形化操作界面，极大降低了技术门槛，适用于科研、工程落地及企业级应用集成。

本系统基于有限状态转导器（Finite State Transducer, FST）架构实现，具备高精度、低延迟、可扩展性强等优点，支持日期、时间、数字、货币、分数、度量单位、数学符号、车牌号等多种语义类别的自动转换。

2. 系统功能概览

2.1 核心转换能力

FST ITN-ZH 支持以下主要类型的中文逆文本标准化：

• 日期转换：二零一九年九月十二日→2019年09月12日
• 时间表达：下午三点十五分→3:15p.m.
• 数值解析：六百万→600万或6000000（可配置）
• 货币表示：一点二五元→¥1.25；一百美元→$100
• 分数处理：五分之一→1/5
• 度量单位：二十五千克→25kg
• 数学符号：负二→-2；正五点五→+5.5
• 车牌识别：京A一二三四五→京A12345

所有转换均通过规则驱动 + 模型优化结合的方式完成，在保证准确率的同时兼顾性能效率。

2.2 用户交互设计亮点

经过科哥的 WebUI 二次开发，系统具备如下易用性增强特性：

• 图形化操作界面，无需命令行即可完成全部操作
• 提供快速示例按钮，一键填充常见测试用例
• 支持批量上传.txt文件进行大规模数据处理
• 输出结果可保存至服务器并生成带时间戳的文件名
• 内置高级设置选项，允许用户自定义转换行为

3. 部署与启动流程

3.1 运行环境准备

系统已封装完整运行时依赖，推荐在以下环境中部署：

• 操作系统：Ubuntu 20.04 / CentOS 7+
• Python 版本：Python 3.8+
• 硬件要求：CPU ≥ 2核，内存 ≥ 4GB（无GPU亦可运行）

注意：若需更高并发处理能力，建议部署于具备 GPU 加速的服务器以提升响应速度。

3.2 启动与重启指令

进入项目根目录后，执行以下命令启动服务：

/bin/bash /root/run.sh

该脚本会自动： - 检查依赖库是否安装完整 - 启动 Flask/FastAPI 后端服务 - 绑定 WebUI 到默认端口7860

服务成功启动后，终端将输出类似信息：

Running on http://0.0.0.0:7860 Startup completed. Access the web interface via browser.

4. WebUI 使用详解

4.1 访问地址

打开任意浏览器，输入：

http://<服务器IP>:7860

页面加载完成后，您将看到主界面，标题为“中文逆文本标准化 (ITN)”，底部注明“webUI二次开发 by 科哥”。

运行截图说明

图示：FST ITN-ZH WebUI 主界面，包含标签页切换、输入输出框、控制按钮及快速示例区域

4.2 功能一：单文本转换

操作步骤

1. 在页面顶部选择「📝 文本转换」标签页
2. 在左侧“输入文本”区域键入待转换内容
3. 点击「开始转换」按钮
4. 转换结果实时显示在右侧“输出结果”框中

示例演示

输入: 二零零八年八月八日早上八点半 点击: [开始转换] 输出: 2008年08月08日 8:30a.m.

支持混合类型长文本处理，如：

输入: 这件事发生在二零一九年九月十二日的晚上，大概八点半左右，涉及金额为一万二千元。 输出: 这件事发生在2019年09月12日的晚上，大概8:30左右，涉及金额为12000元。

4.3 功能二：批量文件转换

使用场景

适用于需要对成百上千条记录进行统一格式化的业务场景，如语音识别后处理、客服日志清洗、金融票据信息提取等。

操作流程

1. 准备一个纯文本文件（.txt），每行一条原始语句二零零八年八月八日 一百二十三 早上八点半 一点二五元
2. 切换到「📦 批量转换」标签页
3. 点击「上传文件」按钮选择文件
4. 点击「批量转换」开始处理
5. 完成后点击「下载结果」获取标准化后的文本文件

输出文件命名规则

系统自动生成带有时间戳的结果文件，格式如下：

itn_output_20250405_1430.txt

便于多批次任务管理与追溯。

5. 高级设置与参数调优

系统提供三项关键参数供用户根据实际需求调整转换策略。

5.1 转换独立数字

• 开启效果：幸运一百→幸运100
• 关闭效果：幸运一百→幸运一百

适用场景：当“一百”作为数量词而非语义成分时（如品牌名、昵称），建议关闭此选项以保留原意。

5.2 转换单个数字（0–9）

• 开启效果：零和九→0和9
• 关闭效果：零和九→零和九

建议在处理编程代码注释或特殊编号逻辑时开启，避免歧义。

5.3 完全转换“万”

• 开启效果：六百万→6000000
• 关闭效果：六百万→600万

对财务报表、科学计算等需精确数值的应用，推荐开启；日常阅读场景可保持关闭以提升可读性。

6. 支持的转换类型详述

6.1 日期格式化

支持年月日全格式转换，兼容简写与省略形式。

6.2 时间表达归一化

采用 AM/PM 标准记法，符合国际通用习惯。

6.3 数字与大写变体

支持多种中文数字表达方式：

• 简体：一、二、三
• 大写：壹、贰、叁（常用于票据）
• 变体：幺（一）、两（二）

示例：

输入: 幺零零八六 输出: 10086

6.4 货币单位映射

自动识别币种并添加对应符号。

6.5 分数与数学表达

适用于教育、科研文档处理。

6.6 度量与车牌识别

特别针对中国车牌编码规则优化，确保字母与数字分离正确。

7. 实践技巧与最佳建议

7.1 长文本综合处理

系统支持上下文感知的多类型联合转换，适合处理复杂句子：

输入: 我在二零二三年买了三台笔记本，总价约二十万元人民币，发票日期是十二月二十五日。 输出: 我在2023年买了3台笔记本，总价约200000元人民币，发票日期是12月25日。

建议在 NLP 流水线中将其置于 ASR 输出之后、NER 或 QA 模块之前，以提升下游任务准确性。

7.2 批量处理性能优化

对于超过 10,000 行的数据集，建议采取以下措施：

• 分批上传（每次 ≤ 1000 行），避免内存溢出
• 开启“完全转换‘万’”选项，便于后续数值计算
• 下载结果后使用脚本自动化重命名与归档

7.3 结果持久化与审计

点击「保存到文件」按钮，系统会将当前输出写入服务器指定目录，并生成唯一文件名（含时间戳），便于后期审计与版本追踪。

路径示例：

/output/logs/itn_result_20250405_143022.txt

8. 常见问题与解决方案

Q1: 转换结果不准确？

可能原因： - 输入文本存在方言或非标准表达 - 高级设置未匹配实际语境

解决方法： - 尝试关闭“转换独立数字”或“转换单个数字” - 检查是否混用了口语化缩略语（如“仨”、“俩”）

Q2: 是否支持粤语或其他方言？

目前仅支持普通话标准表达。对于粤语文本（如“廿”、“卅”），暂未纳入支持范围。未来可通过定制规则扩展。

Q3: 首次转换延迟较高？

首次请求需加载模型至内存，耗时约 3–5 秒。后续请求响应时间通常小于 100ms。建议保持服务常驻运行。

Q4: 如何合法使用与分发？

请严格遵守以下版权要求：

webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！

可在内部系统集成、学术研究中自由使用，但不得去除署名或用于商业闭源产品发布。

9. 按钮与界面功能对照表

10. 技术支持与反馈渠道

如在部署或使用过程中遇到问题，请联系开发者获取支持：

• 微信：312088415
• 开发者：科哥
• 项目声明：本项目遵循 Apache License 2.0 协议开源

欢迎提出功能建议、提交 Bug 报告，共同推动中文 ITN 技术发展。

11. 总结

本文详细介绍了FST ITN-ZH 中文逆文本标准化系统的部署、使用与优化策略。通过科哥开发的 WebUI 界面，即使是非技术人员也能快速上手，完成从单条语句到海量数据的高效转换。

该系统已在多个语音识别、智能客服和文档自动化项目中验证其稳定性与实用性，具备良好的工程落地价值。

无论你是研究人员、算法工程师还是企业 IT 人员，都可以借助此工具显著提升中文文本处理的质量与效率。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。