1. 项目概述:当AI开始写诗
去年我在GitHub上偶然发现一个有趣的项目——"人工智能诗人"。这个用Python实现的自然语言处理模型,能够自动生成颇具意境的现代诗。作为长期关注AI创意应用的开发者,我立刻被这个项目吸引,并花了三周时间从零复现了整个系统。
这个项目的核心在于:让机器理解诗歌的韵律、意象和情感表达。与常规的文本生成不同,诗歌需要处理更复杂的语言结构和美学特征。通过结合LSTM神经网络和注意力机制,最终实现的模型不仅能保持语法正确性,还能模仿海子、顾城等诗人的独特风格。
2. 核心架构解析
2.1 技术选型考量
在模型架构选择上,项目采用了经典的Encoder-Decoder结构,但针对诗歌特点做了关键改进:
- 双向LSTM编码器:相比单向LSTM,能更好捕捉诗句中的前后文关联。实测显示,双向结构使生成诗句的连贯性提升23%
- 注意力机制解码器:动态调整对输入词元的关注权重,这对处理诗歌中的隐喻特别有效
- 混合损失函数:结合交叉熵损失和韵律评分(押韵检测+平仄分析),权重比例设为7:3
注意:诗歌生成不宜直接使用GPT等通用大模型。测试发现,未经调优的GPT-3生成结果虽然语法正确,但缺乏诗歌特有的凝练感和意象组合。
2.2 关键实现步骤
2.2.1 语料准备与清洗
收集了10万首中文现代诗作为训练集,清洗时特别注意:
- 保留标点但统一格式(全角转半角)
- 过滤非诗歌文本(如注释、赏析)
- 按诗人风格打标签(朦胧派/浪漫主义等)
# 示例清洗代码 def clean_poem(text): text = re.sub(r'【.*?】', '', text) # 去除注释标记 text = text.replace(' ', ' ').replace(',', ',') # 统一符号 return text.strip()2.2.2 模型训练细节
使用PyTorch实现时,有几个关键参数需要微调:
- 词向量维度:256(测试发现大于300会降低生成新颖性)
- LSTM隐藏层:512单元(层数超过3层后效果提升不明显)
- Dropout率:0.3(诗歌生成需要一定随机性)
- 批大小:64(显存不足时可降至32)
训练过程采用动态学习率:
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, mode='min', factor=0.5, patience=3 )3. 效果优化实战
3.1 提升诗歌"灵性"的技巧
经过反复测试,发现这些方法能显著改善生成质量:
- 温度系数调节:推理时设置temperature=0.7,平衡创意与合理性
- 首句引导:人工输入第一句作为"诗眼",后续由AI续写
- 风格混合:在softmax前混合多个诗人的风格向量(权重0.3-0.5)
3.2 典型问题排查表
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 生成诗句重复 | 训练数据不足/模型陷入局部最优 | 增加数据多样性/提高dropout率 |
| 意象组合生硬 | 注意力机制失效 | 检查attention mask是否正确应用 |
| 韵律不协调 | 损失函数权重失衡 | 调整韵律损失权重(建议0.25-0.35) |
| 生成结果过于平淡 | 温度系数过高 | 逐步降低temperature(每次减0.1) |
4. 应用场景拓展
这个技术框架经过调整后,还可用于:
- 歌词自动生成(需增加旋律匹配模块)
- 文言文创作(更换训练语料+特殊token处理)
- 诗歌教学辅助(生成填空练习/风格模仿题)
我在实际部署中发现,配合Flask构建的Web界面能极大提升用户体验。关键点包括:
- 添加"人工微调"按钮,允许用户编辑AI生成结果
- 实现"风格滑动条",实时调整生成风格倾向
- 加入收藏夹功能,记录优质生成结果用于模型强化学习
5. 经验总结与避坑指南
数据质量决定上限:初期使用网络爬取的杂乱数据时,生成结果常出现语义断裂。后来严格筛选了人民文学出版社的权威诗集,效果立竿见影
不要过度追求指标:曾将BLEU分数优化到0.45,但人工评估反而认为生成的诗"太工整而乏味"。后来保留了一些可控的随机性(如top-p采样),反而获得更好反馈
硬件选择建议:
- 训练阶段:至少需要RTX 3090(24GB显存)
- 推理阶段:CPU即可(但建议用ONNX加速)
这个项目最让我惊喜的是,有文学教授反馈某些生成作品"具有后现代诗歌的特征"。这提示我们:AI创作不一定要完全模仿人类,也可以发展出独特的表达方式。后续我计划加入对抗训练,让模型能自主判断诗句的美学价值,而不仅是模仿现有 pattern。