【模型】从基准模型往上加，看看Decoder-only模型何时能生成人话

模型

iknet-v1，本地占用240MB， 1万条训练语料

初始模型

生成重复字

BPE token拆分 + 推理优化

训练语料从1万行扩大到10万行

一张t4跑不动了， 30天有点扯了

启用双卡试试 5epoch + 10万行训练数据

IKNet-V1 训练 ============================================================ 多卡训练: 2 × GPU (DDP) GPU 0: Tesla T4 (15.6GB) GPU 1: Tesla T4 (15.6GB) [1/4] 准备数据... 从 iknet/data/train.txt 加载 100000 条文本 词表大小: 100281 (BPE, cl100k_base) 前100条平均 token: 50.0 (原字符数: 71.5) 数据集: 100000 样本, 6250 批次/epoch (每卡 bs=8, 总 batch=16) [2/4] 初始化模型... 混合精度: BF16 已启用 IKNet-V1 参数量: 138.38M model: 138.38M lm_head: 77.02M

100万行数据+ 2ep + 更小得模型

等待验证
–epochs 2
–batch-size 8
–seq-len 256
–hidden-size 768
–num-layers 6
–num-heads 8
–num-kv-heads 2
–ffn-mult 2.0
–bf16 &

预估1000万行 + 2epoch能说人话