简介：南邮自然语言处理课程实验一（词典分词与二元语法分词）配套参考文档已整理为doc格式，面向正在学习自然语言处理基础、需要通过HanLP完成分词与句法分析实验的本科生。文档对应2023/2024学年第二学期实验报告，系统梳理了词典分词与二元语法分词两大核心任务，涵盖前向最长匹配、后向最长匹配、双向最长匹配的原理与区别，并给出HanLP命令行分词、去词性标注、文件输入输出及parse句法分析的具体指令和运行结果。包体仅1个doc文件，压缩包整体约232KB，文件体量虽小，但内容完整，包含实验目的、环境配置、操作步骤、输出示例及根据教材第27页编写的Python实现代码，便于对照教材逐行理解并复现实验过程。这份资料对需要完成南邮NLP实验作业或入门中文分词、依存句法分析的读者有直接参考价值，已有421人学习下载。
1. 自然语言处理实验一：先把文本变成词，再谈其他
某邮电类高校自然语言处理实验一的题目拿到手，很多同学第一反应是上深度学习模型，结果翻开要求才发现，第一关是分词、去停用词、统计词频这类最基础的文本预处理任务。这个实验的设计意图很明确：把一段中文文本从字符串变成可计算的词序列，再通过数据分布去理解语料特征。它能帮你建立 NLP 的底层直觉——模型再强，输入是垃圾，输出就是垃圾。这篇笔记适合刚入门 NLP 的新手，也适合想快速复盘基本功的从业者，我会把分词、编码、统计、踩坑这些环节一次讲透，让你照着做就能把实验跑通。
2. 实验一背后的选型逻辑：分词、停用词与统计的设计思路
2.1 分词：中文和英文的本质差异决定了工具选择
英文文本天然以空格分隔单词，中文没有这个边界，所以分词是中文 NLP 绕不开的第一步。实验一要求你做分词，不是为了让你调库，而是让你理解“词”这个概念在中文里是依赖工具预设的。同一个句子，“研究生命科学”按不同粒度切，结果完全不同，这就是分词器背后词典和算法差异带来的结果。
常见的做法是用 jieba 库，它支持精确模式、全模式和搜索引擎模式。实验一里最常用的是精确模式，也就是把句子最合理地切开。jieba.cut返回的是一个生成器，你可以直接迭代获取分词结果。选 jieba 的理由很简单：纯 Python 实现，安装零成本，词典覆盖日常语料够用，并且支持用户自定义词典——如果实验语料里有专业术语，比如“自然语言处理”这种词，默认词典可能切碎，这时就可以自己加词。
import jieba text = "自然语言处理是人工智能领域的重要方向" # 精确模式分词 words = jieba.cut(text, cut_all=False) print(list(words)) # 输出: ['自然语言', '处理', '是', '人工智能', '领域', '的', '重要', '方向']这段代码里cut_all=False是精确模式的开关，cut_all=True则是全模式，会输出所有可能的词组合，结果冗余，实验报告里一般不采用。如果你发现某个专业词被切碎了，用jieba.add_word("自然语言处理")强制合并，或者加载自定义词典文件。分词质量直接影响后面的词频统计，这一步值得多花时间调。
还有一个容易被忽略的参数是jieba.enable_paddle()，它启用深度学习模式，分词效果在部分场景更好，但首次运行会加载模型，速度慢且依赖 paddlepaddle，实验一不建议开，默认词典模式足够。
2.2 停用词表：过滤掉的不是词，是噪音
实验一的第二个环节是去停用词。停用词指的是“的、了、是、在、我、你”这类高频但无实际语义贡献的词。如果不滤掉它们，词频统计结果里前几名全是虚词，真正的关键词被淹没，实验报告的可读性会很差。
选停用词表有两个思路：一是直接用网上公开的哈工大停用词表，覆盖面广，适合通用场景；二是根据实验语料自己补充。比如你的语料是电商评论，那么“买”“东西”这类词可能频繁出现但对情感判断无意义，这时候就得手工加进停用词表。我一般会先跑一轮统计，把 Top 50 高频词打印出来看一眼，凡是那种“去掉也不影响理解”的词，全部扔进停用词表。
停用词过滤的实现不复杂，读入停用词表文件，构建一个集合，然后判断分词后的每个词是否在集合里。这里有一个细节：停用词表文件的编码。很多公开的停用词表是 UTF-8 编码，但 Windows 下记事本保存的 txt 可能是 GBK，读取时要注意编码声明，否则会出现乱码或者报错。后面避坑章节会专门说这个问题。
# 读取停用词表并构建集合 with open("stopwords.txt", "r", encoding="utf-8") as f: stopwords = set(line.strip() for line in f) words = ["自然语言", "处理", "是", "人工智能", "领域", "的", "重要", "方向"] filtered = [w for w in words if w not in stopwords] print(filtered) # 输出: ['自然语言', '处理', '人工智能', '领域', '重要', '方向']line.strip()是为了去掉每行末尾的换行符，否则停用词匹配会失效。这里用集合而不是列表是有原因的：集合的成员判断是 O(1)，列表是 O(n)，语料一大，差异就明显了，这也是实验中一个容易被忽略的性能点。
2.3 词频统计：从词到知识的第一步
词频统计的任务很清楚：统计每个词在文档中出现的次数，然后排序输出 TopN。这一步看似简单，但有两个隐含要求。第一，统计的对象是过滤后的词，不是原文本；第二，输出时要有排序逻辑，通常按频次降序，频次相同按字典序或者保持原顺序都可以，但报告里最好说明排序规则。
用 Python 的collections.Counter是最直接的做法。Counter 本质是一个字典的子类，专门用来做计数。它有一个most_common(n)方法，直接返回频次最高的前 n 个词，省去了手动排序的麻烦。如果你还没有接触过 Counter，它是一个值得记住的工具，后面做 TF-IDF、做情感分析都会用到。
from collections import Counter word_list = ["自然语言", "处理", "人工智能", "自然语言", "处理", "处理"] counter = Counter(word_list) print(counter.most_common(2)) # 输出: [('处理', 3), ('自然语言', 2)]这里有个易错点：Counter 计数区分大小写，英文文本里 “Apple” 和 “apple” 会被当成两个词。如果你的实验语料是中英混合的，建议先做归一化——统一转成小写，再做统计。另外，标点符号在分词阶段通常会被保留成独立词元，比如逗号、句号，这些也需要过滤，可以在分词后加一个正则判断，把非中英文和数字的词剔除。
词频统计的意义在于，它让你第一次看到语料的分布特征。比如某个词出现频率异常高，可能说明语料主题集中；所有词频都差不多，可能语料是随机拼接的。实验报告里如果能写一句对词频分布的观察，会明显加分。
3. 从零跑通实验一的完整代码：环境、脚本与结果解读
3.1 环境准备与语料组织
实验一的环境要求不高，Python 3.8 以上即可。我建议用 Anaconda 管理环境，避免多个项目之间的依赖冲突。安装 jieba 和 pandas 就够了，如果你后面打算做可视化，可以加装 matplotlib。这里我先给你一个最小可用的实验环境搭建方案。
# 创建并激活实验环境（conda 方式，也可用 venv） conda create -n nlp-lab python=3.9 -y conda activate nlp-lab # 安装必要依赖 pip install jieba pandasconda create -n nlp-lab是创建名为 nlp-lab 的独立环境，python=3.9指定版本。不用 conda 的话，用python -m venv nlp-lab也可以，只是激活命令不同，Windows 下是nlp-lab\Scripts\activate，macOS/Linux 是source nlp-lab/bin/activate。pandas 用于后面的数据框处理和 CSV 导出，如果你只是做词频统计，其实原生 Python 也够，但实验报告导出用 pandas 更方便。
语料组织上，我习惯把原始文本放在data/目录下，命名为corpus.txt，停用词表放在data/stopwords.txt。代码和数据的目录分开，避免脚本里路径写死导致换机器跑不了。如果你的实验要求从某个数据集读取，同样建议先拷到本地再处理，不要在代码里直接爬网页。
nlp-lab/ ├── data/ │ ├── corpus.txt # 待分析的语料 │ └── stopwords.txt # 停用词表 ├── src/ │ └── main.py # 主脚本 └── output/ └── result.csv # 统计结果这个目录结构是我做实验的固定习惯。data/放输入，src/放代码，output/放输出。三个目录各司其职，跑完实验后直接打包整个目录就能提交。
3.2 分词与停用词过滤脚本
主脚本的核心逻辑分三步：读语料、分词过滤、统计输出。下面是一个可直接运行的完整版本，我把每一步都加了注释，便于你在实验报告里解释。
import jieba import pandas as pd from collections import Counter import re def load_stopwords(path: str) -> set: """读取停用词表，返回 set 类型""" stopwords = set() with open(path, "r", encoding="utf-8") as f: for line in f: word = line.strip() if word: stopwords.add(word) return stopwords def segment_and_filter(text: str, stopwords: set) -> list: """分词并过滤停用词与标点""" # 精确模式分词 words = jieba.cut(text, cut_all=False) filtered = [] for w in words: w = w.strip().lower() # 过滤停用词、空串、纯标点 if w in stopwords: continue if not re.search(r"[\u4e00-\u9fa5a-zA-Z0-9]", w): continue filtered.append(w) return filtered def main(): # 1. 读入语料 with open("data/corpus.txt", "r", encoding="utf-8") as f: text = f.read() # 2. 加载停用词表 stopwords = load_stopwords("data/stopwords.txt") # 3. 分词并过滤 words = segment_and_filter(text, stopwords) # 4. 词频统计 counter = Counter(words) top_words = counter.most_common(50) # 5. 导出 CSV 结果 df = pd.DataFrame(top_words, columns=["word", "count"]) df.to_csv("output/result.csv", index=False, encoding="utf-8-sig") print(df.head(10)) if __name__ == "__main__": main()这个脚本的流程很直白。load_stopwords返回 set，是为了后续过滤时提升性能。segment_and_filter里re.search这行正则的作用是保留中英文和数字，把逗号句号等标点符号过滤掉。lower()是为了归一化英文大小写。most_common(50)只取前 50 个词，你可以按需调整。
一个值得注意的参数是encoding="utf-8-sig"。导出的 CSV 用 Excel 打开时，utf-8 编码会导致中文表头乱码，而utf-8-sig会带上 BOM 头，Excel 能正确识别。这个小细节在提交实验报告时很实用，可以避免反复转换编码的麻烦。
3.3 词频统计结果的解读与验证
跑完脚本后，第一件事不是急着写报告，而是验证结果是否符合预期。我会做三件事：第一，打印前 10 个高频词，直观看看有没有明显的脏数据；第二，统计总词数、去重词数，这些数字要写进实验报告；第三，随机抽一段原始文本，手动分词几个片段，和 jieba 的结果对比，确认分词质量。
# 在项目根目录执行 python src/main.py如果输出结果里前几名全是“的”“了”这类词，说明停用词表没生效，回头检查停用词表编码和过滤逻辑。如果结果里出现大量单个汉字，比如“自”“然”“语”“言”，说明分词模式选错了，可能用了cut_all=True。如果整个结果为空，检查语料文件是否为空，或者正则表达式是否误杀了所有词。
补充一个我常用的验证技巧：统计分词后的词长分布。正常中文文本的词长集中在 1~4 个字，如果超过 4 个字的词占比异常高，很可能是词典里混入了长词条，或者自定义词典格式有误。这个技巧能快速暴露分词阶段的隐患，比肉眼扫词频快得多。
4. 实验一的扩展方向：基于词典的情感分析实现
4.1 为什么做情感分析扩展值得
只做词频统计，实验报告写出来会比较单薄。如果你想把实验一做出区分度，情感分析是一个很顺的扩展方向——它直接复用了前面分词和停用词过滤的成果，只是在统计的基础上多了一步情感打分。很多学校的实验一本身就会要求在词频基础上加一个简单的情感分析任务，这也是我推荐你做这个扩展的原因。
基于词典的情感分析不需要训练模型。它的核心是一个情感词典，里面每个词带一个情感分值，正数为积极、负数为消极，然后对文本分词后的每个词查表累加得分，最终得分的正负和大小代表整体情感倾向。这个方法虽然粗糙，但胜在可解释性强，实验报告里你能清楚地画出“哪个词贡献了多少分”的链路，评委问起来也能答得有理有据。
4.2 情感词典与打分逻辑的实现
情感词典可以自己造一个小规模的，比如正负各 50 个词就够实验演示用。造词典时要注意一个坑：程度副词和否定词会影响情感强度。比如“不快乐”里的“不”会反转情感倾向，单纯查“快乐”的正分就会判断错误。实验一阶段，可以引入否定词表做简单处理——如果情感词前一个词是否定词，就反转该词的情感分值。
import jieba import re # 简易情感词典：词 -> 分值（正数积极，负数消极） sentiment_dict = { "好": 2, "优秀": 3, "喜欢": 2, "满意": 2, "赞": 3, "差": -2, "垃圾": -3, "讨厌": -2, "失望": -2, "坑": -3, } # 否定词表 negation_words = {"不", "没", "无", "别", "莫"} def analyze_sentiment(text: str) -> int: words = jieba.cut(text, cut_all=False) score = 0 prev_word = "" for w in words: if w in negation_words: prev_word = w continue if w in sentiment_dict: s = sentiment_dict[w] # 前一个词是否定词，则反转情感分值 if prev_word in negation_words: s = -s prev_word = "" score += s return score # 测试 print(analyze_sentiment("这个产品很好，我喜欢")) print(analyze_sentiment("这个产品不好，我讨厌"))打分逻辑里，prev_word只记录上一个词，但真实文本中否定词和情感词之间可能隔着程度副词，比如“不太满意”，这种场景下简单的单词回溯就不够用了。实验一阶段可以先忽略这类复杂情况，但要在实验报告里诚实说明这个局限，反而是加分项。
阈值调节上，我一般会把得分归一化到 [-1, 1] 区间，用score / 最大可能得分来做，这样不同文本的情感分可比较。如果你的实验语料有多条评论，可以分别计算得分后按分数排序，观察积极和消极评论是否按预期分布。这一步做完，实验一的内容就从“统计”扩展到了“分析”，深度完全不同。
4.3 情感分析结果的验证与参数调节
情感分析最容易翻车的地方是词典覆盖率。你造的 50 个词面对真实语料时，可能只命中 20%，大量情感词没有打分，导致所有文本的得分都趋近于 0。解决办法是跑完打分后，统计一下命中率：命中的词数除以总词数。如果低于 30%，说明词典太小，需要从语料里手工摘高频情感词补进词典。
我的处理方式是写一个辅助脚本，把分词结果里出现在情感词典中的词单独打印出来，标上分值，快速检查哪些情感词漏掉了。这比盲目扩容词典高效很多。
def inspect_hit(words): hit = [w for w in words if w in sentiment_dict] print(f"情感词命中数: {len(hit)} / {len(words)}, 命中率: {len(hit)/len(words)*100:.1f}%") print("命中词:", hit)这个辅助函数可以加在analyze_sentiment的循环里，方便调试。如果发现某个情感词你没收录，直接在sentiment_dict里加一行即可。记得重新跑测试，确认加减词没有影响其他样本的判断。
情感分析的阈值没有标准答案，完全取决于你的语料和词典。我能给的建议是：不要追求所有文本都判对，而是找出“哪些词导致误判”并修正，修正 3~5 轮后模型效果基本稳定。这个迭代过程写进实验报告，比一句“准确率 90%”更有说服力。
5. 实验一常见问题排查：五个必踩的坑与对应解法
5.1 打开语料文件全是乱码
现象：用open("data/corpus.txt", "r", encoding="utf-8")读文件后，中文全部变成乱码，或者直接报UnicodeDecodeError。
原因：Windows 记事本默认保存的 txt 是 GBK 编码，而代码里声明的是 utf-8，编码不匹配就会出错。这是我在实验辅导里见过最频繁的问题，没有之一。
解决：先判断文件实际编码，再对应修改读取参数。用 Python 的chardet库可以自动检测编码，或者直接用记事本打开文件，另存为时选择 UTF-8 编码覆盖保存。我一般建议代码里做兼容：先用encoding="utf-8"读，抛异常就用encoding="gbk"重试，这只花两行代码，但能省掉大量排查时间。
def read_text(path): try: with open(path, "r", encoding="utf-8") as f: return f.read() except UnicodeDecodeError: with open(path, "r", encoding="gbk") as f: return f.read()这个read_text函数是我做实验时的标准工具函数，不管是语料文件、停用词表还是配置文件，统一走它，编码问题一次性解决。
5.2 分词结果全是单个汉字
现象：运行jieba.cut后，输出的是“自”“然”“语”“言”这样的单字序列，而不是“自然语言”这样的词组。
原因：大概率是切词模式设置错误。jieba.cut有cut_all参数，设为True是全模式，False是精确模式。某些教程示例会默认写jieba.cut(text)，这其实是精确模式，但如果代码里被改成cut_all=True，或者用了jieba.lcut但没注意返回类型，就可能出现切碎的情况。还有一种可能是你的 jieba 版本太旧，默认词典不完整。
解决：确认代码里cut_all=False，升级 jieba 到最新版本。如果单字问题只出现在特定专业词上，用jieba.add_word()添加自定义词即可。
5.3 停用词过滤后词频表没变化
现象：停用词表加载了，过滤代码也写了，但统计结果里“的”“了”还是高频词。
原因：最常见的是停用词表文件每行结尾有空格或\r符号，line.strip()只去掉了\n，但\r残留在词里，导致"的\r"和"的"匹配不上。另一个可能原因是停用词表编码不符，读进来全是乱码，没有一个词能匹配上。
解决：strip()方法默认同时去除首尾空白字符，但如果文件是 CRLF 换行，\r有时会被保留。稳妥的做法是改为line.strip().strip('\r')，或者读文件时用newline=''参数。我习惯把加载停用词的函数统一加上'\r'处理，一行代码，避免后续踩坑。
5.4 jieba 加载词典卡住或内存报错
现象：第一次运行jieba.cut时，程序卡顿几十秒，甚至内存不够崩溃。
原因：jieba 首次运行会加载默认词典到内存，词典包含 30 多万条词语，加载过程需要时间。如果你的语料分词后又用列表保存了所有词，语料一大，内存占用会指数级上升。
解决：首次加载卡顿是正常现象，等十几秒就好。内存优化方面，jieba.cut返回的是生成器，不要一次性转成列表，直接用 for 循环迭代处理即可。如果你确定语料里不需要默认词典的某些词，可以用jieba.set_dictionary()指定一个精简的自定义词典，加载速度和内存占用都会下降，但一般实验语料用默认词典就够了。
5.5 词频统计结果把标点符号也算进去了
现象：Top 词频里有大量逗号、句号、感叹号。
原因：jieba 分词结果里标点符号是独立词元，在过滤阶段没有被剔除。正则re.search(r"[\u4e00-\u9fa5a-zA-Z0-9]", w)的写法有误，或者压根没写这步过滤。
解决：把过滤正则改成只保留包含中文、英文或数字的词，标点自然被排除。我上面章节给的脚本里已经包含这行，复制过去即可。如果语料里有特殊符号如“@”“#”，同样会被过滤。这个坑在英文语料里更隐蔽，因为英文标点紧贴单词，比如“hello,”，分词出来是 “hello” 和 “,” 两个词元，不去逗号的话统计结果多一个高频噪音。
6. 实验一进阶：用 TF-IDF 做关键词提取并一键生成实验报告
6.1 用 TF-IDF 替代词频，结果更有区分度
词频统计适合看全局分布，但当语料包含多篇文档时，单纯词频高的词未必有区分度——比如两篇文章都在谈“数据”，这个词的频次都很高，却分不清文章差异。TF-IDF 的思路是对词频打折扣：某个词在单篇文档里频繁出现，但在整个语料库中很少出现，说明它对这篇文章有代表性；反之，到处都出现的词会被压低权重。实验一如果涉及多篇文档的关键词提取，TF-IDF 是比词频更合适的方案。
import math from collections import Counter def compute_tfidf(documents: list, top_k=10): # documents: list of list, 每个元素是一篇文档分词后的词列表 doc_count = len(documents) df = Counter() # 记录包含每个词的文档数 for doc in documents: seen = set(doc) for w in seen: df[w] += 1 results = [] for doc in documents: doc_counter = Counter(doc) total = len(doc) tfidf_scores = {} for w, cnt in doc_counter.items(): tf = cnt / total idf = math.log(doc_count / (1 + df[w])) tfidf_scores[w] = tf * idf # 取每篇文档的 TopK top = sorted(tfidf_scores.items(), key=lambda x: x[1], reverse=True)[:top_k] results.append(top) return resultsIDF 分母加 1 是平滑处理，避免某些词在所有文档中都出现时出现除以零。这个公式我默认用自然对数，你也可以换底，结果排序不变。运行这段代码前，把每篇文档的分词结果按文档组织好，传入compute_tfidf，返回的每个文档 TopK 词就是关键词。
TF-IDF 的调参点主要是top_k和文档切分方式。文档太短时 IDF 不稳定，建议每篇文档至少 200 字以上。如果你的语料是一整块文本，可以按段落或者按句子切分成伪文档，效果也还行，但报告里要说明切分逻辑。
6.2 把结果导出成结构化表格
实验报告通常需要表格展示数据。用 pandas 把 TF-IDF 结果导成 CSV，直接粘贴进 Word 或 Markdown 报告里即可。我这里给出一个导出函数，它会生成一个长表，每一行是“文档编号 + 关键词 + TF-IDF 值”。
import pandas as pd def export_tfidf(tfidf_results, output_path="output/tfidf.csv"): rows = [] for doc_id, top_words in enumerate(tfidf_results): for word, score in top_words: rows.append({"doc_id": doc_id, "word": word, "tfidf": round(score, 4)}) df = pd.DataFrame(rows) df.to_csv(output_path, index=False, encoding="utf-8-sig")round(score, 4)是为了控制小数位，避免 CSV 里出现超长浮点串。utf-8-sig编码和前面提到的一样，是为了 Excel 打开不乱码。导出后打开 CSV 检查一眼，确认没有空行和乱码再贴进报告。
6.3 一个小技巧：把分词结果可视化，排查黑匣子
实验做完后如果时间充裕，我强烈建议做一张词云，或者简单地用 matplotlib 画一个词频条形图。可视化不是实验要求的一部分，但它能帮你快速发现数据问题。比如在词云里突然出现一个突兀的大字，大概率是脏数据，回源头排查比盯着数字高效得多。
import matplotlib.pyplot as plt from collections import Counter def plot_top_words(counter, top_n=20): words, counts = zip(*counter.most_common(top_n)) plt.figure(figsize=(10, 6)) plt.barh(words, counts) plt.gca().invert_yaxis() plt.title("Top {} Words by Frequency".format(top_n)) plt.tight_layout() plt.savefig("output/top_words.png", dpi=150)plt.gca().invert_yaxis()让频次最高的词显示在最上方，dpi=150保证输出图片清晰度足够放进报告。这个图掉进实验报告里，比干巴巴的表格更直观。
这一路做下来，我最大的教训是：实验一真正的难点从来不在算法，而在数据质量。编码、停用词、分词模式这些看似基础的环节，任何一个出了纰漏，后面的统计和情感分析全是白做。在做自然语言处理实验的时候，我每次都先花一半时间验证前置数据，再开始写核心逻辑，这样看似慢了，实际是避免返工的最快路径。希望这篇笔记能帮你在实验一上少踩几个坑，顺利跑通是第一位的，跑通之后再想优化也不迟。
本文还有配套的精品资源，点击获取
