Python批量处理Word作文文档：从.doc提取到智能评估

简介：假如我是孙悟空主题作文范文，doc格式，共1个文件，压缩包大小仅21KB。全文以小学生朱鸿绪的第一人称梦境开头，化身为齐天大圣后，先后用吸尘器追回盗贼赃物、用仙气熄灭印巴战火、用金箍棒制止海啸，三个场景串联起现实与神话，情节紧凑且富有想象力。该范文适合小学中高年级学生、家长以及语文教师参考，尤其适合正在学习“假设法”想象作文的读者，可从中掌握如何设定身份、设计冲突、结合现代科技细节，并自然传递和平、友爱、勇敢面对困难等价值观。全文以梦境为线索，结构完整，语言生动，画面感强，展现了作者出色的叙事能力与语言功底。该资源已有127人学习，整体构思明确，段落衔接自然，可作为课堂范文讲评或自主仿写的模板。

1. “假如我是孙悟空作文.doc”为什么值得用脚本处理

一位语文老师期末手里攒了四十多个这样的文档：“假如我是孙悟空作文.doc”、“新建 Microsoft Word 文档(2).doc”、“作文(最终版)3.doc”。文件名命名全靠缘分，正文格式更是各写各的：有的首行缩进两字符，有的用全角空格凑数，有的在文末塞了三行“本文共856字”和“老师辛苦了”。如果要完成字数统计、主题筛查、疑似套模板检测，逐个打开Word再人工判断，一个下午就没了。这里真正的需求不是“读作文”，而是把几十个.doc变成可批量操作的结构化数据。这篇文章就走一条完整链路：从解出.doc里的正文，到清洗、分词、计算指标，最终把“疑似跑题”“情感曲线波动大”“与某篇高度相似”等结论写回文档里。适合信息技术老师、教务工作人员，以及需要处理大量中文Word文档的自动化脚本开发者。

2. 解析“假如我是孙悟空作文.doc”：从OLE2二进制到docx的转换链路

2.1 .doc是复合文档，不能像读取.docx一样直接解包

Word 97-2003的.doc和.docx在文件结构上是两回事。.docx本质上是一个zip压缩包，用Python自带的zipfile就能解开，正文躺在word/document.xml里。.doc则是一种OLE2复合文档，全称Compound File Binary Format，可以理解成把一个简化版FAT文件系统塞进了单个文件：文件头512字节记录sector大小、目录流起始位置、FAT链等元信息；真正的正文存放在名为WordDocument的流中，而流的内部又由Fib（File Information Block）描述边界。Fib里有fcMin和fcMac两个字段，分别指向纯文本区的起始和结束偏移。这个设计在Word早期是为了节省内存，代价是任何想读取.doc的程序都要先完整解析一套复合文档结构。

很多新手第一次拿Python处理.doc都会想当然：直接把文件读进来，再按某种编码解码。结果输出里除了偶尔可见的“孙”“悟”“空”几个字，大部分是穿插着\x00和\x0c的乱码。原因是正文按UTF-16LE存放，不是常见的GBK或UTF-8，而且段落还会被拆分成多个piece，每个piece有自己的压缩状态标志。真要自己写解析器，就得兼容Word 97到2003各版本的Fib扩展、piece table（CLX结构）、格式控制符和域代码，工作量足够维护一个独立的开源库。在工程上，最常见的做法是把转换层和分析层彻底分开：转换层只负责把二进制变成干净文本，分析层再也不碰二进制。

2.2 用LibreOffice无头模式先转成docx，再交给python-docx

批量处理这种作文文件时，我最常用的是LibreOffice无头模式。它在Linux和Windows下都有稳定的命令行接口，对.doc的兼容性远好于自己解析二进制，而且一条命令就能把整个目录转完。装好LibreOffice之后，在目标目录执行：

# 批量转换当前目录下所有 .doc 到 .docx，输出到 ./converted soffice --headless --convert-to docx --outdir ./converted *.doc

参数含义分别是：--headless表示不启动图形界面，--convert-to docx指定目标格式，--outdir ./converted指定输出目录。如果文件名里有中文或空格，建议先cd到目标目录再执行，避免shell把路径拆碎。转换完成后原文件不变，只是生成同名的.docx。如果机器上同时装了WPS，需要先确认soffice指向的是LibreOffice而不是WPS的兼容程序，可以用soffice --version检查。

转换之后用python-docx读取正文就非常简单了：

from pathlib import Path from docx import Document def extract_text_from_docx(docx_path: Path) -> str: """从 docx 中提取全部段落文本""" doc = Document(str(docx_path)) paras = [p.text.strip() for p in doc.paragraphs if p.text.strip()] return "\n".join(paras) if __name__ == "__main__": # 遍历 converted 目录下所有 .docx for docx_file in Path("./converted").glob("*.docx"): text = extract_text_from_docx(docx_file) out = Path("./texts") / (docx_file.stem + ".txt") out.write_text(text, encoding="utf-8") print(f"{docx_file.name}: {len(text)} chars")

逻辑说明：先用strip过滤空段落，再把所有段落按换行拼成一个大字符串。存成txt之后，后续所有分词和统计都基于这个纯文本文件，不会再碰二进制。参数说明：docx_path是Path对象，调用Document时需要转成str，因为python-docx在部分旧版本里对Path对象的支持不稳定；write_text必须显式指定encoding="utf-8"，否则Windows下默认用GBK写文件，后面用Python读回来就是乱码。

2.3 转换失败要能自己发现，不能靠肉眼清点

批量处理最怕的不是某一条命令失败，而是转换完少了一两篇作文，后续分析却不知道。soffice的退出码有时为0但目标文件没生成，所以不能只检查returncode，一定要检查输出文件是否真实存在。使用subprocess而不是shell=True调用，也是为了避免中文文件名在shell层被拆分。

import subprocess from pathlib import Path src_dir = Path("./homework") out_dir = Path("./converted") out_dir.mkdir(exist_ok=True) failures = [] for doc_file in sorted(src_dir.glob("*.doc")): result = subprocess.run( ["soffice", "--headless", "--convert-to", "docx", "--outdir", str(out_dir), str(doc_file)], capture_output=True, text=True, encoding="utf-8" ) expected = out_dir / (doc_file.stem + ".docx") if not expected.exists(): failures.append(doc_file.name) print(f"转换失败 {len(failures)} 个: {failures}")

这里的判断逻辑是“文件是否生成”而不是“进程是否报错”。因为有的时候soffice遇到加密文件或损坏文件，只是静默跳过。把这些失败名单打印出来，后期清洗时就知道哪些学生作文缺失了。antiword和catdoc可以作为备选工具直接抽取文本，但它们的输出对中文的稳定性不如LibreOffice，遇到乱码时不要浪费时间调参数，直接切回2.2的转换路线。

3. 清洗与分词：把“假如我是孙悟空作文.doc”变成可计算的语料

3.1 先清洗，别急着写统计代码

转换出的txt并不是干净正文。以“假如我是孙悟空作文.doc”为例，常见干扰有：标题重复出现两三次、文末有“字数统计：856字”这类模板文字、开头有“学校：某某小学 班级：五年级2班”这种元信息、行与行之间混着全角空格。另一类情况是文件名本身叫“假如我是孙悟空作文”，转换后正文第一行里又写了一个“假如我是孙悟空”，两处重复会在词频统计里造成干扰。

清洗的规则我一般按三步走，每一步都只处理一类噪音：

import re def clean_essay(text: str) -> list[str]: """清洗作文文本，返回干净段落列表""" # 第一步：按行切分，去掉空白行和全角空格 raw_lines = [line.strip().replace("\u3000", "") for line in text.splitlines()] lines = [line for line in raw_lines if line] # 第二步：去掉与正文无关的元信息行 meta_pattern = re.compile(r"^(学校|班级|姓名|学号|日期|字数统计)[:：]") body_lines = [line for line in lines if not meta_pattern.match(line)] # 第三步：合并被换行断开的短行 merged = [] for line in body_lines: if merged and len(line) < 15 and not re.search(r"[。！？!?]", line): merged[-1] += line else: merged.append(line) return merged

逻辑说明：replace("\u3000", "")是去掉全角空格，这是中文排版里最常见的隐性空白；meta_pattern匹配“学校：”“班级：”等前缀，把元信息行直接丢弃。第三步的合并条件是“当前行长度小于15且不含句末标点”，解决的是手写断行或分页导致的碎片句子。参数15要按实际作文平均句长调整，如果正文短句多，改成8到10，否则会把独立短句错误拼到上一段。

清洗是整个流程里最容易出错的一步。宁可少去一点，保留个别元信息行，也不要误伤正文。统计指标对一两行多余文本不敏感，但“孙悟空”所在的行如果被误删，主题覆盖率立刻失真。

3.2 加载自定义词典，别让“孙悟空”被切成“孙”和“悟空”

中文分词工具里最常用的是jieba。处理“假如我是孙悟空”这类作文，必须先加载自定义词典，把“孙悟空”“金箍棒”“七十二变”“筋斗云”这些词设为不可拆分的整词。否则jieba默认会按词频概率把“孙悟空”切成“孙”和“悟空”，主题词统计直接报废。

import jieba from collections import Counter # 自定义词典：词语 词频 词性 CUSTOM_WORDS = [ "孙悟空 100 n", "金箍棒 80 n", "七十二变 70 n", "筋斗云 70 n", "紧箍咒 50 n", ] for line in CUSTOM_WORDS: word, freq, tag = line.split() jieba.add_word(word, freq=int(freq), tag=tag) def tokenize(text: str) -> list[str]: """分词并返回词列表""" return [w for w in jieba.lcut(text) if w.strip()] if __name__ == "__main__": essay = "假如我是孙悟空，我会用七十二变帮助别人，而不是去炫耀金箍棒。" print(tokenize(essay))

jieba.add_word里freq参数决定这个词在动态规划路径中的权重，设成100是为了让整词路径的概率明显高于拆开路径；tag是词性标注，不影响分词结果，但后续做名词抽取时需要它。整个分词流程跑完后，用Counter统计词频，再过滤“了”“的”“是”“我”“会”这类停用词，留下的名词和动词高频词就能反映作文到底在写什么。

3.3 六个可直接计算的统计特征

分词是为了给文本抽象出可计算的量。针对作文批量评估，我通常计算以下六个特征：

主题词覆盖率的计算依赖一个主题词典，针对“假如我是孙悟空”，词典可以设成{孙悟空, 金箍棒, 七十二变, 筋斗云, 妖怪, 帮助}：

def calc_theme_coverage(text: str, theme_words: list[str]) -> float: """计算文本中主题词出现过的比例""" covered = sum(1 for w in theme_words if w in text) return covered / len(theme_words)

逻辑是按整个词做子串匹配，出现过一次就算覆盖。覆盖率低于0.3说明六个词里命中不到两个，需要重点人工复核。这个指标是粗筛，不是定论，但能把最可疑的几篇优先拎出来。注意这里的匹配是文本包含关系，所以“孙悟空”出现十次和出现一次得到的覆盖率相同，词频统计要另看Counter的结果，两者不要混用。

4. 写成量化指标：从“假如我是孙悟空作文.doc”里抽出情感、相似度和空泛词

4.1 情感曲线能看出这篇作文有没有“转折”

高分作文通常有一条情绪变化线：开头写“假如我是孙悟空会很威风”，中间遇到问题，结尾落回“帮助别人才能体现本领”。如果把每段的情感值按顺序串起来，就能看到一条从高到低再到高的曲线。SnowNLP可以对中文文本逐段计算情感值，范围是0到1，越接近1越积极，越接近0越消极。

from snownlp import SnowNLP def sentiment_curve(paragraphs: list[str]) -> list[float]: """对每一段做情感分析，返回情感倾向序列""" scores = [] for para in paragraphs: if len(para) < 5: # 太短的段落不做计算，避免对话片段干扰曲线 scores.append(0.5) continue try: s = SnowNLP(para) scores.append(s.sentiments) except Exception: # 分词异常时回退到中性值 scores.append(0.5) return scores

长度阈值5是过滤“哈哈”“是的”这类语气碎片，它们的情感值要么接近0.5要么剧烈波动，加入曲线会掩盖整体趋势。SnowNLP底层是朴素贝叶斯分类器，训练语料主要是商品评论，所以绝对情感值不可靠，但相对趋势在作文场景下足够用。如果追求更细的结果，可以对每段做情感词加减，不过维护情感词典的成本对一次性任务来说偏高。

情感曲线不能单独作为质量指标，必须与主题词覆盖率配合。一个学生通篇写“我变出很多钱、变出很多房子”，情感值全程高涨，但内容空洞且跑题；另一个写“我虽然很厉害，但我发现帮助别人才快乐”，情感曲线是低开高走，后者更符合命题作文的预期。

4.2 用TF-IDF余弦相似度找出“套模板”的作文

批量作文里最常见的作弊是套同一篇范文，换几个关键词，人称改了但段落顺序完全一致。人工一眼能看出来，脚本可以用TF-IDF向量化加余弦相似度把这组文档对挑出来。注意sklearn的TfidfVectorizer默认分词器只处理拉丁字符，中文必须先切好词再用空格拼接。

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # texts 是清洗后的段落列表，先对每篇作文分词并拼接成空格分隔字符串 joined_docs = [" ".join(jieba.lcut(t)) for t in texts] vectorizer = TfidfVectorizer(max_features=2000, ngram_range=(1, 2)) tfidf_matrix = vectorizer.fit_transform(joined_docs) sim_matrix = cosine_similarity(tfidf_matrix) # 相似度超过阈值的文档对直接打印 threshold = 0.6 for i in range(len(sim_matrix)): for j in range(i + 1, len(sim_matrix)): if sim_matrix[i][j] > threshold: print(f"文档{i} 与 文档{j} 相似度 {sim_matrix[i][j]:.2f}")

tfidf_matrix是稀疏矩阵，cosine_similarity返回的是n×n的稠密矩阵，当文档超过500篇时内存会明显上涨，建议改为只在需要时计算pairwise距离。ngram_range=(1,2)同时保留单词和相邻双词，比如“金箍棒”和“戴上金箍”能被部分捕捉，降低同义替换导致的误判。max_features=2000限制特征维度，避免jieba切出的低频词干扰向量表示。

阈值设置要分层：0.75以上直接标记为疑似雷同，0.6到0.75之间标记为建议人工复核。不要用0.5，中文作文的高频词重叠普遍，误报会淹没真正值得看的线索。另外IDF数值来自这批文档自身的统计，如果总共只有三两篇作文，IDF几乎没有区分能力，建议文档数不足10篇时改用Jaccard相似度，按句子集合的重合比例判断。

4.3 空泛名词密度：识别“写了很多但什么都没说”的作文

“东西”“事情”“办法”“问题”“情况”“地方”“时候”这些词本身没有错，但若它们在全文中占比过高，说明学生习惯用抽象词替代具体描写。“孙悟空拔下一根毫毛”是具体描写，“孙悟空想了一个办法把事情解决了”是空泛表达。这个指标很容易解释，老师能直接理解。

def vague_noun_ratio(tokens: list[str]) -> float: """计算空泛名词占全部词的比例""" vague_words = {"东西", "事情", "办法", "问题", "情况", "地方", "时候", "意义", "道理", "故事"} vague_count = sum(1 for w in tokens if w in vague_words) total = len(tokens) return vague_count / total if total else 0.0

小学作文里空泛词占比在0.1左右算正常，超过0.2就值得警惕。可以进一步按字数加权而不是按词数量加权，避免短句里“东西”被重复计数。这种指标解释力有限，但它的价值是给评审一个可追溯的数字：可以说“这篇作文里‘事情’和‘办法’出现了14次，而‘金箍棒’只出现1次”，比“感觉偏题”更有说服力。

5. 用关键句定位给“假如我是孙悟空作文.doc”批量加批注

指标算完之后，最大的问题是老师怎么用。生成一张Excel汇总表是常见做法，但老师更希望直接看到原文哪里可疑。这里有一个可落地的小技巧：定位关键句，在句子上加黄色高亮，并在句末追加一段形如【批注：本段情感值0.82，主题词覆盖率为0.3】的文本。

python-docx不直接支持Word批注，往document.xml手写批注需要维护comments.xml和relationship ID，成本高且容易损坏文档。用高亮加尾部备注的折中做法，生成的文件兼容性最好，换任何Office软件都能正常打开。

from docx import Document from docx.enum.text import WD_COLOR_INDEX def highlight_sentences(docx_path: str, sentences: list[tuple]) -> None: """ 把指定句子高亮，并在句末写入批注性文本 sentences: [(原文句子, 批注内容), ...] """ doc = Document(docx_path) for para in doc.paragraphs: full = para.text for target, note in sentences: if target and target in full: # 把命中的 run 设置黄色高亮 for run in para.runs: if target[:5] in run.text: run.font.highlight_color = WD_COLOR_INDEX.YELLOW # 段落末尾追加批注文本 note_run = para.add_run(f"【批注：{note}】") note_run.font.name = "微软雅黑" note_run.font.size = para.runs[0].font.size doc.save(docx_path.replace(".docx", "_analyzed.docx"))

这里用target[:5]去匹配run前缀，而不是全句匹配，是因为Word一个段落往往被按格式块拆成多个run，目标句子可能横跨两个run，但前五个字大概率落在同一个run里。如果句子比五个字短，就改成target[:len(target)]。批注的字体和字号要显式设置，否则Word会继承默认字体，导致批注文字和正文混排时大小不统一。

使用这个方案前，建议先用单篇文档跑通，确认高亮是否覆盖了所有目标句，再批量循环。跑完生成的_analyzed.docx用Word打开检查一下，重点看批注文本有没有破坏段落原有字体设置，以及高亮是否误伤其他句子。几十篇作文从散落的.doc变成带高亮和批注的.docx，整个过程不需要手动打开Word，耗时取决于转换速度和文档数量。这个方案可以在半天内落地，不依赖第三方Office插件，老师拿到后能直接按颜色逐篇复核。

本文还有配套的精品资源，点击获取