简介：这份资源是面向K-12教育场景的Python自动作文评分系统实现包，适合NLP入门学习者、教育技术开发者及需要批量评分的教师参考。系统围绕篇章结构展开，涵盖词法分析、语法与语义分析、段落连贯性识别、特征工程以及SVM、随机森林、神经网络等评分模型训练，并配有预处理、后处理与评估优化流程，可帮助读者理解从文本解析到分数预测的完整链路。压缩包共112个文件，约2.04MB，以py脚本、text与txt语料、count统计文件为主，辅以png图表、xml配置、xlsx数据表及多种训练与结果文件，便于对照实验数据复现评分流程。目前已有265人学习下载，适合作为课程设计或毕业项目的参考方案，从中可获取特征提取思路、模型训练脚本与评分结果样例，快速搭建可运行的作文评分原型。
1. 篇章结构自动作文评分：从一篇作文的"骨架"说起
改过几百份作文的老师都有一个共识：一篇作文能不能拿高分，往往看前三段就八九不离十了。开头有没有立论、中间有没有分层展开、结尾有没有收束，这些"骨架"层面的东西，比某个句子写得漂不漂亮更能决定分数档位。python基于篇章结构自动作文评分系统要解决的，正是把这种"看骨架"的经验，翻译成程序能算的指标。
它适合三类人：一是做教育类工具、想给作文批改加自动打分能力的开发者；二是手里有一批学生作文、想做批量分析的研究者；三是想拿一个完整 NLP 项目练手的 python 学习者。核心思路不复杂——把作文切成段落和句子，提取结构特征（段落数、段长分布、主题句位置、段落间语义连贯度等），再喂给一个回归或分类模型去预测分数。相比只堆词频、句长的"表面特征"方案，篇章结构特征更贴近人工评分的真实依据，也更抗"堆砌辞藻"的作弊写法。这一章先把这件事讲清楚，后面几章带你从零跑通。
2. 篇章结构特征到底怎么算：从切分到向量化
2.1 为什么结构特征比词袋特征更靠谱
很多人做自动作文评分，第一反应是上 TF-IDF 加线性回归，把整篇作文当成一袋词。这条路能跑通，但有两个硬伤：一是它完全丢掉了顺序和层次，一篇把论点全堆在结尾的作文和一篇结构匀称的作文，词袋表示几乎一样；二是它对"字数多就分高"有强偏好，模型学到的其实是长度而非质量。
篇章结构特征换了个视角。人工评分时，老师脑子里其实在跑一套隐性的结构检查：有没有明确的开头段？主体是不是分了几个层次？每段有没有一个中心句？段落之间是并列、递进还是转折？结尾有没有回应开头？把这些拆成可计算的量，就是结构特征。常见做法是先把作文切成段落，再把段落切成句子，然后在段落和句子两个粒度上算统计量和语义量。
我一般会算这几类：段落层面的段落数、各段句子数、段长方差（衡量结构是否匀称）；句子层面的平均句长、句长方差；语义层面的相邻段落相似度（衡量连贯性）、首段与末段相似度（衡量首尾呼应）、每段首句与段内其余句子的相似度（衡量中心句是否突出）。这些量加起来二三十维，已经能覆盖大部分结构信息。
2.2 用 python 把一篇作文切成段落和句子
中文作文的切分比英文麻烦，标点和换行都不规范。下面这段代码是我常用的最小切分逻辑，先按换行切段，再按中文句末标点切句，同时做基本清洗。
import re def split_paragraphs(text): # 先统一换行符，再按空行或单换行切段 text = text.replace('\r\n', '\n').replace('\r', '\n') # 连续空白行视为段落分隔 paras = re.split(r'\n\s*\n|\n', text) # 去掉空段和纯空白段 paras = [p.strip() for p in paras if p.strip()] return paras def split_sentences(para): # 中文句末标点：。！？；以及英文对应符号 # 用零宽断言保留标点，避免切完丢符号 sents = re.split(r'(?<=[。！？!?；;])', para) sents = [s.strip() for s in sents if s.strip()] return sents if __name__ == '__main__': sample = "春天来了。\n\n小草绿了，花儿开了！\n这是我最喜欢的季节。" for i, p in enumerate(split_paragraphs(sample)): print(f"段落{i}: {p}") for j, s in enumerate(split_sentences(p)): print(f" 句子{j}: {s}")逻辑说明：split_paragraphs先把不同系统的换行符统一，再用正则把连续空行或单个换行都当作段落边界。这里有个取舍——有些作文段落之间只有一个换行，如果严格按空行切会漏段，所以我用\n\s*\n|\n把两种情况都覆盖。split_sentences用后向零宽断言(?<=...)在句末标点之后切，这样标点会留在前一句末尾，不会丢。
参数说明：句末标点集合里我加了分号；，因为中文作文里分号常用来分隔并列分句，算作句子边界更合理；如果你的语料里分号多用于句内停顿，可以把它去掉。切分粒度直接影响后面所有特征，建议先拿十几篇真实作文跑一遍，人工看看切得对不对，再定标点集合。
2.3 把结构特征拼成一个特征向量
切分完成后，就可以算特征了。下面这段代码把段落、句子统计和语义相似度拼成一个字典，语义部分用 sentence-transformers 的中文模型算向量。
import numpy as np from sentence_transformers import SentenceTransformer # 首次运行会自动下载模型，之后走本地缓存 model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') def cosine(a, b): return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-8)) def extract_features(text): paras = split_paragraphs(text) para_sents = [split_sentences(p) for p in paras] feat = {} # 段落层面 feat['para_count'] = len(paras) para_lens = [len(p) for p in paras] feat['para_len_mean'] = float(np.mean(para_lens)) if para_lens else 0 feat['para_len_std'] = float(np.std(para_lens)) if para_lens else 0 # 句子层面 sent_counts = [len(s) for s in para_sents] feat['sent_per_para_mean'] = float(np.mean(sent_counts)) if sent_counts else 0 all_sents = [s for ss in para_sents for s in ss] sent_lens = [len(s) for s in all_sents] feat['sent_len_mean'] = float(np.mean(sent_lens)) if sent_lens else 0 feat['sent_len_std'] = float(np.std(sent_lens)) if sent_lens else 0 # 语义层面：段落向量 if len(paras) >= 2: para_vecs = model.encode(paras, normalize_embeddings=True) # 相邻段落相似度均值，衡量连贯性 adj = [cosine(para_vecs[i], para_vecs[i+1]) for i in range(len(para_vecs)-1)] feat['adj_para_sim'] = float(np.mean(adj)) # 首尾段相似度，衡量首尾呼应 feat['head_tail_sim'] = cosine(para_vecs[0], para_vecs[-1]) else: feat['adj_para_sim'] = 0.0 feat['head_tail_sim'] = 0.0 # 中心句突出度：每段首句与段内其余句的相似度均值 topic_scores = [] for ss in para_sents: if len(ss) >= 2: vecs = model.encode(ss, normalize_embeddings=True) sims = [cosine(vecs[0], vecs[k]) for k in range(1, len(vecs))] topic_scores.append(float(np.mean(sims))) feat['topic_sentence_score'] = float(np.mean(topic_scores)) if topic_scores else 0.0 return feat逻辑说明：段落和句子统计量直接用 numpy 算均值和标准差，标准差是重点——它衡量结构是否匀称，一篇段落长短悬殊的作文，para_len_std会明显偏高。语义部分用多语言 MiniLM 模型，它对中文短文本效果够用且体积小，适合本地跑。相邻段落相似度取均值，值太低说明段落之间跳跃、不连贯；首尾相似度衡量呼应，但要注意这个值不是越高越好，太高可能是首尾重复。
参数说明：normalize_embeddings=True让向量归一化，后面余弦相似度就退化成点积，省一次除法。topic_sentence_score只在段内句子数大于等于 2 时才算，单句段没有"中心句"概念，直接跳过。模型名换成更大的中文模型（如text2vec-base-chinese）通常能提升语义特征质量，但推理会慢，建议先用小模型跑通流程。
3. 从特征到分数：模型训练与数据准备
3.1 数据从哪来、怎么标注
自动作文评分是典型的监督学习，没有标注分数就无从训练。现实里数据来源有三条路：一是公开数据集，部分教育研究机构会放出带人工评分的作文语料；二是自己组织标注，找两到三位老师对同一批作文独立打分，取平均，同时算一下评分者一致性；三是用现有考试的分数作为弱标签。
我一般会先确认三件事：分数是连续分还是档位分（决定用回归还是分类）、评分标准是否统一（决定标签噪声大小）、作文题目是否单一（决定模型能不能跨题泛化）。如果只有几十篇作文，别急着上深度学习，先用结构特征加梯度提升树，小样本下它比神经网络稳得多。
标注环节有个血泪经验：一定要留一部分作文做双评，算一下评分者之间的相关系数。如果两位老师对同一篇作文的分差经常超过总分的一档，说明评分标准本身模糊，这时候模型学到的就是噪声，再调参也没用。
3.2 用 sklearn 训练一个结构特征评分模型
假设你已经把每篇作文的分数和特征整理成了 CSV，下面是训练和评估的完整流程。
import pandas as pd import numpy as np from sklearn.model_selection import train_test_split, cross_val_score from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_absolute_error, cohen_kappa_score # df 列：每篇作文的结构特征 + score（人工分） df = pd.read_csv('essay_features.csv') feature_cols = [c for c in df.columns if c != 'score'] X = df[feature_cols].values y = df['score'].values # 小样本优先用交叉验证看稳定性 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42) model = GradientBoostingRegressor( n_estimators=300, # 树的数量，小样本别设太大 learning_rate=0.05, # 学习率，配合树数量控制拟合 max_depth=3, # 树深，结构特征维度低，3 层够用 subsample=0.8, # 行采样，抗过拟合 random_state=42 ) model.fit(X_train, y_train) pred = model.predict(X_test) print('MAE:', mean_absolute_error(y_test, pred)) # 如果分数是整数档位，可以四舍五入后算二次加权 kappa pred_round = np.round(pred).astype(int) print('QWK:', cohen_kappa_score(y_test, pred_round, weights='quadratic')) # 看特征重要性，验证结构特征是否真的有用 imp = sorted(zip(feature_cols, model.feature_importances_), key=lambda x: -x[1]) for name, v in imp: print(f'{name}: {v:.4f}')逻辑说明：GradientBoostingRegressor对小样本、低维特征很友好，比随机森林更不容易过拟合。评估用两个指标——MAE 看平均偏差多少分，QWK（二次加权 kappa）看档位一致性，后者更贴近人工评分的实际需求，因为评分误差在一档内通常可接受，跨档才是大问题。
参数说明：n_estimators和learning_rate是一对，学习率小就要树多，但小样本下树太多会记住训练集，我一般从 200 到 300 起步。max_depth=3是因为结构特征只有二三十维，深树没必要还容易过拟合。subsample=0.8每次只用 80% 样本建树，是廉价的抗过拟合手段。跑完一定要看特征重要性，如果排前面的全是长度类特征，说明模型还是在"以长取分"，得回头检查特征设计或做长度归一化。
3.3 特征标准化与长度归一化
结构特征里，段落数、句长这些量纲差很多，树模型对量纲不敏感可以跳过标准化，但如果你要换线性模型或神经网络，标准化是必须的。更重要的是长度归一化——很多结构特征和总字数强相关，直接喂进去模型会偷懒。
from sklearn.preprocessing import StandardScaler # 对线性/神经网络模型：先标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 长度归一化：把绝对量换成相对量 df['para_len_cv'] = df['para_len_std'] / (df['para_len_mean'] + 1e-8) df['sent_len_cv'] = df['sent_len_std'] / (df['sent_len_mean'] + 1e-8) # 段落数按总字数归一，避免长文天然段多 df['para_density'] = df['para_count'] / (df['total_chars'] / 100.0 + 1e-8)逻辑说明：变异系数（CV = 标准差 / 均值）把"段长是否匀称"从绝对量变成了相对量，一篇 500 字和一篇 1000 字的作文，只要结构匀称程度一样，CV 就接近。para_density用每百字段落数衡量分段密度，比原始段落数更公平。
参数说明：1e-8是防止除零的极小量，别省。归一化后记得把原始绝对特征也保留一份，树模型有时能同时利用绝对量和相对量，让模型自己选。
4. 避坑与排查：结构评分系统最容易翻车的五个地方
4.1 切分错误导致特征全盘失真
现象：模型在训练集上表现很好，换一批作文 MAE 突然翻倍。原因：新语料的段落分隔习惯和训练集不同，比如训练集用空行分段，新语料用单换行，切分逻辑没覆盖，段落数全错。解决：切分函数要兼容多种分隔符，并且在上线前对每批新数据抽样人工核对切分结果，把切分质量当成数据预处理的第一道验收。
4.2 语义模型对短段落给出噪声相似度
现象：相邻段落相似度特征和人工判断对不上，短段落之间相似度忽高忽低。原因：句向量模型对极短文本（比如只有四五个字的过渡段）编码不稳定，向量方向随机性大。解决：对少于一定字数的段落，要么跳过不参与相似度计算，要么用前后段拼接后再编码。我一般设 10 字为阈值，低于它的段落不单独算向量。
4.3 分数分布不均导致模型偏向多数档
现象：模型几乎把所有作文都预测成中间档，高分段和低分段全错。原因：训练集里中间档作文占绝大多数，回归模型为了降低整体误差，倾向于输出均值附近的值。解决：对样本做分层采样，或在损失函数里给少数档更高权重；也可以先做档位分类再在档内做回归，两步走比一步回归更稳。
4.4 用测试集调参造成虚高指标
现象：反复在测试集上调模型参数，指标很好看，上线就崩。原因：测试集被当成了验证集用，模型间接记住了测试集。解决：严格三分——训练集、验证集、测试集，调参只看验证集，测试集只在最后跑一次。小样本下用交叉验证替代固定验证集，但交叉验证的分数也不能拿来反复挑模型。
4.5 忽略题目差异导致跨题泛化差
现象：模型在写人记事类作文上准，换议论文就失准。原因：不同文体的篇章结构差异大，议论文段落更规整、中心句更明显，模型学到的结构规律不通用。解决：要么按文体分别建模，要么在特征里加入文体标识，要么用更多文体混合数据训练。跨题泛化是这类系统最难的一关，别指望一个模型打天下。
5. 让结构评分更稳的两个进阶技巧
第一个技巧是把结构特征和内容特征做互补。纯结构特征有个天花板——它能判断"骨架"好不好，但判断不了"血肉"是否切题。我一般会在结构特征之外，加一维"主题相关性"：用作文题目和全文的语义相似度，或者用题目关键词在文中的覆盖度。这样模型既看结构又看内容，对跑题作文的识别会明显变好。做法很简单，把题目也编码成向量，和全文向量算余弦相似度，拼进特征表即可。
第二个技巧是用分档一致性而不是绝对误差来验收。自动评分系统落地时，用户真正在意的是"分档对不对"，而不是"差 0.3 分"。我习惯把预测分和人工分都映射到档位（比如每 5 分一档），然后算二次加权 kappa，QWK 到 0.7 以上才算可用，0.6 到 0.7 之间只能做辅助参考。下面这个小函数可以直接拿去用：
import numpy as np from sklearn.metrics import cohen_kappa_score def to_band(scores, band=5): # 把连续分映射到档位，band 为每档分值跨度 return (np.asarray(scores) // band).astype(int) def band_agreement(y_true, y_pred, band=5): return cohen_kappa_score( to_band(y_true, band), to_band(y_pred, band), weights='quadratic')逻辑说明：to_band用整除把分数压到档位，band=5表示每 5 分一档，你可以按实际评分标准调整。band_agreement算二次加权 kappa，它对跨档误差惩罚重、对档内误差惩罚轻，正好匹配评分场景。参数说明：weights='quadratic'是固定选择，线性加权对跨档惩罚不够，二次加权更符合"差一档可接受、差两档严重"的直觉。
我自己的习惯是，任何一版模型上线前，先拿 50 篇没参与训练的真实作文跑一遍，人工看预测档位和实际档位的偏差分布，偏差集中在哪一档就回头查那一档的特征。这套流程跑顺之后，结构评分系统能稳定承担初筛工作，把老师的精力省下来处理真正需要人工判断的边界作文。希望帮到你。
本文还有配套的精品资源，点击获取
