SpeechLM 实战指南：语音-文本联合预训练、分词器流水线与 ASR/ST 微调

SpeechLM 实战指南：语音-文本联合预训练、分词器流水线与 ASR/ST 微调

【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm

SpeechLM 是 unilm 仓库（Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities）中的一个语音预训练项目，其核心思想是：在语音自监督预训练（wav2vec 2.0/HuBERT 式的 masked unit modeling）之外，额外引入大规模的未配对纯文本数据参与联合训练，从而让模型在只有语音的条件下也能获得类似"文本预训练"的正则化收益。本文以 speechlm/README.md 为主体，结合仓库中的模型定义（SpeechLM.py）、预训练/微调配置（speechlm/speechlm/config）、联合预训练任务（joint_sc2t_pretrain.py）与训练脚本，完整梳理 SpeechLM-P/SpeechLM-H 两类模型的 tokenizer 构建、预训练、ASR/ST 微调与解码、以及特征提取的完整实操路径，并补充 README 中未展开的配置参数含义与底层实现细节。

1. 模型家族与环境准备

README 将 SpeechLM 划分为两个系列、两档规模：

其中"P" 指以音素（phoneme）为预训练目标单位，"H" 指以离散隐层单位（hidden units，HuBERT 风格 k-means 聚类得到的 token）为目标单位。具体权重文件的下载入口请查阅 speechlm/README.md 的 "Pre-Trained and Fine-tuned Models" 表格（该表保留了原始云存储链接）。

环境准备按 README 的要求（fairseq以 git submodule 形式引入，仓库中 speechlm/fairseq 目录即为子模块挂载点）：

git submodule update --init SpeechLM/fairseq cd SpeechLM/ pip install --editable fairseq/ pip install sacrebleu==1.5.1

所有训练脚本都通过fairseq_cli/hydra_train.py启动，并用--config-dir指向 speechlm/speechlm/config 下的配置组（pretrain/、finetune/、decode/三个子目录），因此脚本内部都带有[ ${PWD##*/} != SpeechLM ] && exit的目录校验，必须切换到SpeechLM/根目录再执行。

2. 模型架构：双分支的"语音编码器 + 单位编码器"

SpeechLM 的推理版实现被合并为单文件 SpeechLM.py（另有共享的 modules.py），训练版实现在 speechlm/speechlm/models/speechlm.py。从源码结构看，整个模型由两类主干组成：

1. 语音分支：wav2vec 2.0 风格的卷积特征提取器（ConvFeatureExtractionModel，卷积层配置字符串'[(512,10,5)] + [(512,3,2)] * 4 + [(512,2,2)] * 2'，总下采样 320 倍），后接一个encoder_layers层的 Transformer 编码器（TransformerEncoder）；
2. 单位（文本）分支：一个TransformerEncoderBase（unit_encoder，配置在model.text_transformer下），它在预训练时既处理"从语音预测出的单位序列"，也直接处理纯文本样本。

SpeechLMConfig 中定义的关键默认值（Base 配置会由 YAML 覆盖）包括：label_rate=50（目标帧率）、mask_prob=0.65、final_dim=256（对比投影维度）、mix_with_unit=True、use_pred_unit=False、l2_embedding=False、add_unit_encoder=False（这些"单位分支"开关在预训练 YAML 中才会置为true）。

前向逻辑在 SpeechLM.forward 中按输入分流：source非空走forward_speech，否则走forward_text（文本分支）。forward_speech的流程是：提特征 →LayerNorm→ 按mask_prob掩码（apply_mask，掩码片段替换为可学习mask_emb）→ 过编码器 → 与单位 embedding 做F.normalize后的对比式预测（compute_pred，温度由logit_temp控制）。当add_unit_encoder=True时，还会调用convert_embeddings：把语音编码输出投影到final_dim空间，按mix_with_unit配置随机把一部分位置的 soft embedding 替换为离散单位的 embedding（unit_embed_tokens），再送入unit_encoder，并对替换位置计算l2_embedding损失——从源码结构看，这正是让"单位编码器"同时见得到 soft 语音表征与 hard 单位序列的关键设计。

2.1 预训练损失构成

训练损失由 speechlm_criterion.py 中的SpeechLMCriterion计算，从源码可见总损失由四部分组成：

• L_UMLM（语音端）：pred_masked_weight（默认 1.0）加权被掩帧的交叉熵，pred_nomask_weight（默认 0.0）加权未掩帧；
• 额外正则项：loss_weights（配置中为[10]）作用于模型get_extra_losses返回的features_pen（特征 L2 惩罚）以及embedding_l2_loss（若开启l2_embedding）；
• L_UMLM（文本端，可选）：text_mum_weight（默认 0.0）加权文本分支的 masked unit modeling；
• L_UCTC：text_ctc_weight（默认 0.1）加权的文本端 CTC 损失（compute_ctc_loss，blank 为<s>）。

预训练 YAML（speechlm_base_librispeech.yaml 与 speechlm_large_librilight.yaml）均显式设置pred_masked_weight: 1.0、pred_nomask_weight: 0.0、loss_weights: [10]、text_ctc_weight: 0.1、text_mum_weight: 0.0，即实际生效的是"语音端 masked 对比 + 特征惩罚 + 文本端 CTC"。

2.2 Base 与 Large 配置对照

两份预训练配置的主要差异如下（均可在对应 YAML 中逐行核对）：

3. 联合预训练任务：语音与文本如何在同一 batch 中采样

预训练使用的任务是 joint_sc2t_pretrain.py 中注册的joint_sc2t_pretraining。它最核心的机制是用子集（subset）字符串的语法声明一个多模态数据混合，在脚本中形如：

dataset.train_subset="train_960+train_text.phn-ltr" dataset.valid_subset="dev_clean+dev_clean.phn-ltr"

从load_dataset的源码看，+号分隔的段依次表示：语音数据集（如train_960，加载train_960.tsv与label_dir下的.phn/.km标签）、配对文本数据集（如train_text.phn-ltr，按 "源-目标" 解析为 phoneme 序列与 letter 序列）、可选的未配对单语文本、可选的有监督数据；随后由MultiCorpusDataset按resample_multi_modality_dataset计算出的分布比例混合采样。其中文本采样有两个关键超参：text_maxtokens_ratio（文本 token 预算 =max_tokens * ratio / 320）与speech_sampling_alpha/text_sampling_alpha（温度式重采样系数，默认 0.2）。

语音标签的帧率由model.label_rate决定，这正是 P/H 两种模型的分水岭（见训练脚本 base_speechlmp.sh 与 base_speechlmh.sh）：

三个脚本的通用签名为<data_dir> <text_data_dir> [mount=$PWD] [world_size=32] [update_freq=1]，模型输出到${mount}/exp/pretrain/base_speechlmp_*之类的目录；data_dir需包含train_960.{tsv,phn}（或.km），text_data_dir需包含train_text.phn-ltr.{phn,ltr}.{bin,idx}（H 模型为train_text.km-ltr.{km,ltr}.{bin,idx}）。

提示：README 在 "SpeechLM-H Base model" 小节的示例命令中误写了base_speechlmp.sh，实际应执行 base_speechlmh.sh（其labels与label_rate均不同）。

4. Tokenizer：把"未配对"数据变成可用的预训练信号

README 的 "Tokenizers" 一节是 SpeechLM 最具辨识度的部分：预训练所需的"语音单位"与"文本单位"都不是直接标注出来的，而是靠四个 tokenizer 构建的。

4.1 语音侧音素 tokenizer（P 系列）

这是一个混合 HMM ASR 模型：在 Kaldi 配方下用 100 小时 LibriSpeech 标注数据训练 HMM，再对 960 小时无标注语音解码，从 lattice 中取出帧级对齐音素。README 提供了解码结果（train_960.tsv/train_960.phn、dev_clean.tsv/dev_clean.phn），帧率为 100（10 ms）。仓库中保留了小规模示例：speechlm/dataset/LibriSpeech/phone_unit/train_sample100.phn 与 train_sample100.tsv，可直观查看 tsv（wav 路径、采样点数、时长）与 phn 序列的一一对应关系。

4.2 文本侧音素 tokenizer（P 系列）

把未配对文本变成 (phonemes, letters) 配对数据，流水线为words -> phonemes -> upsampled phones。一键脚本是 speechlm/speechlm/data_process/prepare_phn2ltr_librilm.sh，从脚本源码可见其完整步骤：

1. 下载 LibriSpeech-LM 语料（librispeech-lm-norm.txt）；
2. wrd2ltr.py 把文本转为 letter 序列；
3. ltr2kaldi_phn_sil025.py 将字母转为 Kaldi 风格音素（静默音统一为<SIL>）；
4. filter_paireddata_by_len.py 过滤过长样本（先 2000，upsample 后按 2800 截断——脚本注释说明 2800 是按 Large 配置下900000/320≈2812token/batch 的预算设定的）；
5. repeat_withou_insert_sil_less_4375.py 依据mean5_and_std25_sil14_spn32.dict对音素做重复上采样，使其对齐到 100 帧/秒（50% 的音素重复 5 次、静默音重复 14 次、静音符号 32 次等统计设定）；
6. txt2idx.sh 生成 fairseq 二进制索引train_text.phn-ltr.phn.{bin,idx}与train_text.phn-ltr.ltr.{bin,idx}。

运行前需确保输出目录dataset/LibriLM/phone_unit/bin-idx/下已有仓库提供的 dict.phn.txt 与 dict.ltr.txt（仓库中 speechlm/dataset/LibriLM/phone_unit/bin-idx/config.yaml 为配套数据配置）。

4.3 语音侧隐层单位 tokenizer（H 系列）

按 wav2vec 2.0 manifest 流程准备三样东西：1) wav 清单（如 speechlm/dataset/LibriSpeech/hidden_unit/train_sample100.tsv）；2) 从预训练模型第 9 层等隐层抽取后 k-means 量化得到的单位序列（如 train_sample100.km）；3) 单位词表 dict.km.txt。

4.4 文本侧隐层单位 tokenizer（H 系列）

用少量 ASR 数据（100 小时 LibriSpeech）训练一个 FastSpeech 类模型 speechlm/speechlm/models/fasttext2unit.py——与原 FastSpeech 不同，它输出离散单位而非连续频谱——作为"文本→语音风格单位"的生成器。流程为：1) 转写文本转音素序列；2) 从语音提取隐层单位；3) 在配对数据上训练（bash speechlm/scripts/tokenizer_fastT2U/train_s_5e-4.sh $data_dir，仓库对应 train_s_5e-4.sh）；4) 用 generate.sh 对大规模文本语料批量生成单位序列（bash speechlm/scripts/tokenizer_fastT2U/generate.sh $model_path $gen_set）。训练/生成的示例数据在 speechlm/dataset/LibriSpeech/fast_phone2unit（含 config.yaml、config_generate.yaml 与genset_examples.tsv），模型 checkpoint 的下载链接见 README 原文。

5. ASR 微调与解码（LibriSpeech）

5.1 数据准备

按 wav2vec 2.0 manifest 的做法生成train.tsv与train.ltr，并保证词表与预训练模型使用的 dict.ltr.txt 完全一致（仓库提供了 train_sample100.ltr 等示例文件）。

5.2 微调 CTC 模型

# Base 模型：speechlm/scripts/tune_speechlm_asr/finetune_base_ctc.sh <model_path> <data_dir> <cpt_tag> [mount=$PWD] [world_size=8] [update_freq=1] model_path=path/to/your/pre-trained/model data_dir=dataset/LibriSpeech/asr bash speechlm/scripts/tune_speechlm_asr/finetune_base_ctc.sh $model_path $data_dir 'tag400k' # Large 模型：speechlm/scripts/tune_speechlm_asr/finetune_large_ctc.sh <model_path> <data_dir> <cpt_tag> [mount=$PWD] [world_size=8] [update_freq=4] bash speechlm/scripts/tune_speechlm_asr/finetune_large_ctc.sh $model_path $data_dir 'tag400k'

以 finetune_base_ctc.sh 为例，脚本基于 speechlm_base_100h.yaml 启动：该配置把任务切到fine_tuning: true、labels: ["ltr"]、single_target: true（序列级标签，label_rate退化为 -1），损失换成标准ctc，训练子集train_clean_100、验证子集dev_other，max_update: 30000、lr: 1e-5、max_tokens: 1.6M，学习率调度用tri_stage（phase_ratio: [0.1, 0.4, 0.5]、final_lr_scale: 0.05）。模型侧（_name: speechlm_ctc，即 speechlm_ctcasr.py）保留了预训练式的掩码：mask_prob: 0.65、mask_channel_prob: 0.5、mask_channel_length: 64、layerdrop: 0.1，且freeze_finetune_updates: 0表示从第一步起全参数更新。cpt_tag参数只用于拼接实验目录名（ctc30k_from_<tag>），方便区分不同预训练步数的权重。

5.3 三种解码方式

# 1) 直接解码 CTC 模型（Viterbi） bash speechlm/scripts/tune_speechlm_asr/inference_ctc.sh $model_path $data_dir # large 模型改用 inference_ctc_large.sh

# 2) 4-gram 语言模型解码（flashlight + kenlm） # 需先把 4-gram.arpa 与词-字母 lexicon librispeech_lexicon.lst 放进 $data_dir bash speechlm/scripts/tune_speechlm_asr/inference_ctc_kenlm.sh $model_path $data_dir

# 3) large 模型使用 fairseq-lm 词级 Transformer LM 解码 # 把 lm_librispeech_word_transformer.pt 及其词表 dict.txt 放入 $data_dir/fairseq_word_lm # （dict.txt 需首字母大写以匹配词-字母 lexicon），lexicon 同样放入 $data_dir bash speechlm/scripts/tune_speechlm_asr/inference_ctc_large_fsqlm.sh $model_path $data_dir dev_other

解码脚本统一走 speechlm/speechlm/infer.py + config/decode 下的 YAML（如 infer_kenlm.yaml）。以 inference_ctc_kenlm.sh 为例，它对gen-set（默认dev_clean,dev_other,test_clean,test_other）中的每个子集并行启动解码进程，kenlm 搜索 beam 设为 1500，并会校验$data_dir/librispeech_lexicon.lst与$data_dir/4-gram.arpa是否就位。脚本末尾还留有一处重要提示：fairseq 加载微调模型时会连带加载预训练模型的状态来构建模型实例，因此可通过common_eval.model_overrides用 speechlmp_base_cfg.pt（只含配置、不含权重的空 checkpoint）替换w2v_path，避免本地没有预训练权重时报错——如果你的微调模型改过结构（如编码器层数），需相应修改该 override。

6. ST 微调与解码（CoVoST-2）

6.1 数据准备

1. 下载 Common Voice（version 4）英文音频到$cv_root/en；
2. 运行 manifest 生成脚本，它会把 mp3 转波形、生成语音-翻译对的 tsv 并创建数据配置：

lang=de # ca,ar,tr cv_root=dataset/CommonVoice/v4 bash speechlm/data_process/prepare_covost2_enxx.sh $lang $cv_root

仓库提供了 en-de 的示例数据 speechlm/dataset/CommonVoice/v4/en/en-de，其中 config_base_ende.yaml 与 config_large_ende.yaml 分别是两种模型规模的数据配置，spm_char_st_en_de.*为目标语字符级 SentencePiece 词表。

6.2 微调 encoder-decoder 模型

# Base：speechlm/scripts/tune_speechlm_st/ft_base_covost_enxx.sh <model_path> <data_dir> <lang> <cpt_tag> [mount=$PWD] [world_size=8] [update_freq=2] model_path=path/to/your/pre-trained/model lang=de # ca,ar,tr data_dir=dataset/CommonVoice/v4/en/en-${lang} bash speechlm/scripts/tune_speechlm_st/ft_base_covost_enxx.sh $model_path $data_dir $lang 'tag400k' # Large：speechlm/scripts/tune_speechlm_st/ft_large_covost_enxx.sh，默认 update_freq=4 bash speechlm/scripts/tune_speechlm_st/ft_large_covost_enxx.sh $model_path $data_dir $lang 'tag400k'

微调后的模型统一保存在$mount/exp/finetune_covost。

6.3 解码

# speechlm/scripts/tune_speechlm_st/inference_base.sh <model_path> <data_dir> <lang> [gen-set=dev] [beam_size=5] bash speechlm/scripts/tune_speechlm_st/inference_base.sh $model_path $data_dir $lang dev # large 模型 bash speechlm/scripts/tune_speechlm_st/inference_large.sh $model_path $data_dir $lang dev

从源码结构看，ST 微调模型定义在 speechlm/speechlm/models/speechlm_st.py，解码使用字符级目标词表（示例中的spm_char_st_en_de.vocab）做 beam search，beam_size默认 5。

7. 从清洗版 checkpoint 提取特征

README 将全部推理相关代码合并到 SpeechLM.py，并提供了移除非必要模块后的"清洗版"checkpoint（Base/H Base/P Large 三个）。特征提取的完整流程（直接来自 README）：

import torch import torch.nn.functional as F from SpeechLM import SpeechLMConfig, SpeechLM checkpoint = torch.load('path/to/the/cleaned/checkpoint.pt') cfg = SpeechLMConfig(checkpoint['cfg']['model']) model = SpeechLM(cfg) model.load_state_dict(checkpoint['model']) model.eval() wav_input_16khz = torch.randn(1, 10000) normalize = checkpoint['cfg']['task']['normalize'] # False for base model, True for large model if normalize: wav_input_16khz = F.layer_norm(wav_input_16khz[0], wav_input_16khz[0].shape).unsqueeze(0) # extract the representation of last layer rep = model.extract_features(wav_input_16khz)[0] # extract the representation of each layer output_layer = model.cfg.encoder_layers + model.cfg.text_transformer.encoder.layers rep, layer_results = model.extract_features(wav_input_16khz, output_layer=output_layer, ret_layer_results=True)[0] layer_reps = [x.transpose(0, 1) for x in layer_results]

这段代码与 SpeechLM.extract_features 的实现完全对应，值得注意的细节有三点：

1. normalize必须与预训练时一致：Large 模型配置中task.normalize: true（对应extractor_mode: layer_norm），Base 为false，因此 README 用checkpoint['cfg']['task']['normalize']从 checkpoint 自动读取，对需要归一化的输入做逐样本layer_norm；
2. output_layer是 1 起始的全局层号：当output_layer超过cfg.encoder_layers时，extract_features会先过语音编码器，再把其输出（经convert_embeddings，mix_with_unit=False、use_pred_unit=False）送入unit_encoder，并按return_all_hiddens收集单位编码器的各层隐藏态拼接进layer_results。因此取"全部层表征"时层号要写成encoder_layers + text_transformer.encoder.layers（P Base 为 6+6=12，P Large 为 12+12=24）；
3. ret_layer_results=True时返回二元组(最终特征, [各层隐藏态])，各层张量形状为(T, B, D)，示例中的transpose(0, 1)即转成(B, T, D)。

8. 从零预训练：把三要素串起来

综合前文，从零复现一次 P Base 预训练需要满足三要素：

• 语音数据：train_960.tsv（wav manifest）+ 由 4.1 节 HMM 流程得到的train_960.phn（100 帧/秒对齐音素）；
• 文本数据：由 4.2 节脚本产出的train_text.phn-ltr.{phn,ltr}.{bin,idx}及dict.phn.txt/dict.ltr.txt词表；
• 命令：

data_dir=dataset/LibriSpeech/phone_unit # 应包含 train_960.{tsv,phn} text_data_dir=dataset/LibriLM/phone_unit/bin-idx # 应包含 train_text.phn-ltr.{phn,ltr}.{bin,idx} # Usage: speechlm/scripts/pretrain_speechlm/base_speechlmp.sh <data_dir> <text_data_dir> [mount=$PWD] [world_size=32] [update_freq=1] bash speechlm/scripts/pretrain_speechlm/base_speechlmp.sh $data_dir $text_data_dir

H Base 与 P Large 分别换成 base_speechlmh.sh（km标签、label_rate=50、train_text.km-ltr数据）与 large_speechlmp.sh（60k 小时 LibriLight 数据 + Large 配置 speechlm_large_librilight.yaml）。训练在 32 卡（4 机 × 8 卡）规模下max_update: 400000步收敛，checkpoint 每 50k 步保留一次（Base）；update_freq用于梯度累积以模拟更大 batch。

9. 小结与延伸阅读

SpeechLM 的核心贡献可以概括为三句话：用 HMM 对齐音素与"文本→单位"生成器，把未配对文本转化为与语音同构的单位序列；用joint_sc2t_pretraining任务把语音、配对文本、单语文本按帧率对齐地混在同一 batch 中做 masked unit modeling；再用 CTC 微调与 ST 微调验证该表征在 ASR/翻译上的价值。仓库内值得继续深入的文件：模型三件套（speechlm.py、speechlm_ctcasr.py、speechlm_st.py）、联合采样逻辑 joint_sc2t_pretrain.py 的resample_multi_modality_dataset、损失实现 speechlm_criterion.py，以及 speechlm/README.md 中保留的全部权重下载链接与论文引用信息（论文引用为 Zhang et al., 2022，arXiv:2209.15329）。

【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm