FST ITN-ZH技术揭秘：中文数字日期转换算法解析-开发者社区

FST ITN-ZH技术揭秘：中文数字日期转换算法解析

1. 引言：逆文本标准化的技术背景与核心价值

在自然语言处理（NLP）的实际应用中，语音识别系统输出的文本通常包含大量非标准表达形式。例如，“二零零八年八月八日”或“早上八点半”这类口语化、书面化的中文表达，难以直接用于结构化数据处理、信息抽取或数据库存储。因此，逆文本标准化（Inverse Text Normalization, ITN）成为语音识别后处理的关键环节。

FST ITN-ZH 是一个基于有限状态转导器（Finite State Transducer, FST）架构的中文 ITN 实现，专注于将中文语义表达转换为标准化的数字、时间、货币等格式。其 webUI 版本由开发者“科哥”进行二次开发，提供了直观的操作界面和灵活的配置选项，极大降低了使用门槛。

本文将深入解析 FST ITN-ZH 的核心技术原理，重点剖析其中文数字与日期转换的算法逻辑，并结合工程实践给出可落地的优化建议。

2. 核心机制：FST 架构下的中文转换逻辑拆解

2.1 什么是 FST？类比理解其工作方式

可以将有限状态转导器（FST）想象成一台“语言翻译机”，它不是通过神经网络学习语义，而是通过预定义的状态转移规则来完成输入到输出的映射。

举个例子：

输入序列：“一百二十三”
FST 内部会依次经过状态：百位→十位→个位
每个汉字触发特定的数值累加操作
最终输出：“123”

这种基于规则的方法具有高精度、低延迟、可解释性强的优势，特别适合数字、日期等结构化表达的转换任务。

2.2 中文数字转换的核心流程

中文数字表达遵循严格的层级结构：个、十、百、千、万、亿……FST ITN-ZH 利用这一特性设计了分层解析机制。

转换步骤详解：

词元切分（Tokenization）
- 将输入字符串按字符或语义单位切分为 token 序列
- 示例："六百万"→["六", "百", "万"]

数值映射（Value Mapping）

建立基础数字与量级的映射表

digit_map = {"零":0, "一":1, "二":2, "两":2, "三":3, ..., "九":9} unit_map = {"十":10, "百":100, "千":1000, "万":10000, "亿":100000000}

状态累积（Accumulation with State）
- 维护当前数值current_value和累计结果total
- 遇到“万”、“亿”时，对current_value进行放大并加入total
边界处理
- 处理省略情况，如“十五”表示“十又五”
- 支持大写数字（壹贰叁）、变体（幺=一，两=二）

2.3 日期与时间的模式匹配机制

日期转换依赖于正则表达式与上下文感知的组合策略。

典型日期模式：

YYYY年MM月DD日 → \d{4}年\d{1,2}月\d{1,2}日

算法流程：

使用正则识别日期结构
提取年、月、日对应的中文数字子串
调用数字转换模块分别处理
格式化输出为YYYY-MM-DD或YYYY年MM月DD日

示例：

def convert_chinese_date(text): pattern = r"(?P<year>.+?)年(?P<month>.+?)月(?P<day>.+?)日" match = re.search(pattern, text) if match: y = chinese_to_number(match.group("year")) m = chinese_to_number(match.group("month")) d = chinese_to_number(match.group("day")) return f"{y:04d}年{m:02d}月{d:02d}日" return text

3. 工程实现：WebUI 架构与关键代码分析

3.1 系统整体架构概览

FST ITN-ZH WebUI 采用典型的前后端分离架构：

[用户浏览器] ↓ (HTTP 请求) [Gradio 前端界面] ↓ (调用函数) [Python 后端处理] ↓ (FST 规则引擎) [ITN 转换核心] ↓ [返回标准化结果]

其中 Gradio 提供了快速构建 UI 的能力，使得开发者无需编写前端代码即可实现交互式界面。

3.2 核心转换函数实现

以下是简化版的中文数字转阿拉伯数字实现：

def chinese_to_number(chinese_str): """ 将中文数字字符串转换为整数 支持：一万二千三百四十五 → 12345 """ digit_map = {"零":0,"一":1,"二":2,"两":2,"三":3,"四":4, "五":5,"六":6,"七":7,"八":8,"九":9} unit_map = {"十":10,"百":100,"千":1000,"万":10000,"亿":100000000} total = 0 current_val = 0 prev_unit = 1 for char in chinese_str: if char in digit_map: current_val = digit_map[char] elif char in unit_map: unit = unit_map[char] if unit >= 10000: # “万”及以上单独处理 total = (total + current_val) * unit current_val = 0 else: current_val *= unit else: continue return total + current_val

注意：实际系统中使用的是编译后的 FST 模型，效率远高于纯 Python 实现。

3.3 批量处理与性能优化

对于大批量文本转换，系统采用以下优化策略：

批处理缓存：首次加载模型后驻留内存，避免重复初始化
异步 I/O：文件读写不阻塞主线程
多线程支持：Gradio 可配置并发 worker 数量提升吞吐

# 启动脚本 run.sh 示例 #!/bin/bash python app.py --server_port 7860 --concurrency_count 4

4. 功能扩展与高级设置解析

4.1 高级参数对转换行为的影响

参数	开启效果	关闭效果
转换独立数字	`幸运一百`→`幸运100`	保持原样
转换单个数字	`零和九`→`0和9`	保持原样
完全转换'万'	`六百万`→`6000000`	`600万`

这些开关本质上是控制 FST 模型中某些规则路径是否激活，属于轻量级配置，不影响主模型加载。

4.2 支持的转换类型及其底层逻辑

类型	示例输入	输出	技术实现方式
数字	一百二十三	123	分层累加
日期	二零零八年八月八日	2008年08月08日	正则+数字转换
时间	早上八点半	8:30a.m.	上下文分类+映射
货币	一点二五元	¥1.25	单位替换+符号插入
分数	五分之一	1/5	分子分母提取
车牌	京A一二三四五	京A12345	局部替换