NLTK与Spacy实战指南：从入门到选型避坑

想快速上手自然语言处理（NLP），最经典的第一步就是接触 NLTK 和 Spacy。这两个库几乎是所有 NLP 入门教程里的常客，但很多人把它们摆在一起学的时候，反而容易卡在“到底该用哪个”“数据下载不下来”“代码跑完不知道结果有什么用”这些坑里。这篇博文我不打算抄文档，而是按我实际项目里用过不下几十次的真实路径，带你从环境准备、核心操作、场景实战到问题排查，把这两个库的关键用法和挖坑点一次说透。不管你是刚接触 NLP 的小白，还是已经写过几个 Demo 但想系统梳理的人，应该都能从中拿到一点能直接落地的经验。

1. 入门思路与环境准备

1.1 两个工具的本质差异

先放下“哪个好用”这种对立的问题，我们要搞清楚它们到底各自擅长什么。很多人对 NLTK 和 Spacy 的第一印象是“都能做分词、词性标注、命名实体识别”，好像重复度很高，但其实这两者的设计哲学完全是两个方向。

NLTK 全称是 Natural Language Toolkit，它本质是一个学术型工具包，更像是“自然语言处理的瑞士军刀”。它内部包含大量的语料库、词典、接口，比如停用词表、WordNet 词汇网络、各种评测数据集，而且很多算法是拿 Python 一步步写出来的，方便你打开源码研究原理。所以如果你是在学习阶段，或者想自己实现某个算法，NLTK 会给你非常大的自由度。

Spacy 则是工业级产品，设计目标就是在生产环境里快速、准确地处理文本。它把整个 NLP 流程设计成一条 Pipeline，加载模型之后，分词、词性标注、依存句法分析、命名实体识别一次全部跑完，速度很快，接口也很统一。它的模型是训练好的，开箱即用，不需要你自己去做太多说明。

打个比方，NLTK 像一套可以做各种实验的化学试剂盒，你很清楚里面每个成分是什么，也能自己配方案；Spacy 更像一台集成了多个模块的自动化生产线，你只需要把原料放上去，它直接给你输出成品。二者不是替代关系，而是学习路径和项目阶段的不同选择。

1.2 环境搭建与镜像加速

先用 pip 安装这两个库，这一步很简单，但要注意 Python 版本兼容。我比较推荐你在虚拟环境里操作，避免和系统级 Python 环境产生冲突。用 venv 或者 conda 都行，个人习惯是 conda，因为后续处理科学计算类依赖时省心不少。

pip install nltk pip install spacy

如果你网络环境不太理想，直接用默认源安装大概率会卡住。这个卡住不是网络断开，而是连接一个速度很慢的国外源，然后无限等待。处理办法就是换国内镜像源，比如清华源或者阿里云源。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple nltk pip install -i https://pypi.tuna.tsinghua.edu.cn/simple spacy

还有一个小建议，安装的时候顺手把 pip 配置改掉，省得以后每次都要输入一长串地址。在用户目录下找到 pip.conf 或者 pip.ini，写上：

[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple timeout = 120

配置完成后，再安装任何 Python 包都会自动走国内源，实测下载速度快了不止一个量级。

1.3 语料库与模型的下载技巧

装好库之后，NLTK 还需要下载数据，比如停用词表、punkt 分词模型、 averaged_perceptron_tagger 词性标注器。很多人就在这里卡住了，因为执行nltk.download()之后，界面一直转圈不动，最后直接超时。

NLTK 的数据下载服务器在国外，如果网络不好，确实让人抓狂。解决方法是手动指定镜像站点。在 Python 里执行：

import nltk nltk.download('punkt', download_dir='/your/path/nltk_data')

但如果网络实在太差，还是下不动，那就用更稳妥的办法：找到可以直接访问的镜像地址，比如国内一些高校或者云厂商提供的资源，下载对应的 zip 包，解压后手动放到 nltk_data 目录下。放置路径可以用下面的代码查看：

import nltk print(nltk.data.path)

把解压出来的文件夹放进任何一个列出的路径即可。

其实 NLTK 各个数据包的体积都不算大，多数是几 MB 到几十 MB，真正麻烦的是连接不稳定。建议下载时保持耐心，把超时时间设置得长一点，或者在网络空闲时段操作。

Spacy 的情况类似，不过它下载的是训练好的模型包。不同的模型对应不同的语言和数据规模，比如英文的小模型en_core_web_sm和较大模型en_core_web_md，后者包含词向量，体积大了很多。直接使用官方命令：

python -m spacy download en_core_web_sm

如果速度慢，同样可以考虑用镜像源或者直接从国内可访问的站点手动下载模型包，然后安装：

pip install 你的路径/en_core_web_sm-3.x.x.tar.gz

注意模型包的版本要和 spacy 库的主版本号一致，不然加载时会报错说版本不兼容。这个版本对应问题我在后面的常见问题章节还会展开讲。

2. NLTK 的核心操作与实战拆解

2.1 从一行代码认识 NLTK

安装好 NLTK 并下载数据后，先跑一个最简单的句子切分。NLTK 的sent_tokenize可以把一段文本切分成句子列表，这是很多人接触 NLTK 后第一个用的功能。

import nltk text = "NLTK is a great toolkit for NLP. It provides many easy-to-use interfaces. We can start learning in minutes." sentences = nltk.sent_tokenize(text) for sent in sentences: print(sent)

输出结果：

NLTK is a great toolkit for NLP. It provides many easy-to-use interfaces. We can start learning in minutes.

这个功能背后依赖的是 punkt 分词模型，它通过训练好的规则来判断句号、感叹号、问号等是否代表句子边界。比如Mr. Smith中的.不能被当成句子结尾，这种细节 punkt 已经处理好了。

再来看看单词级的分词，也就是 word_tokenize：

tokens = nltk.word_tokenize(text) print(tokens)

输出是一串词和标点，比如['NLTK', 'is', 'a', 'great', 'toolkit', 'for', 'NLP', '.']。你可能会问，为什么标点会被单独拆出来？这其实是 NLTK 的默认行为，它认为标点和单词是不同的 token，这样设计是为了后续处理时可以精确区分语言成分。

需要注意的是，word_tokenize 对中文并不友好。它默认按照英文的空格和标点规则来切分，中文文本它会直接一字一字地切，效果很混乱。NLTK 本身确实有中文分词接口，但那是调用外部库或者还要额外安装训练数据，体验并不好。所以在中文 NLP 任务里，NLTK 通常不是第一选择。

2.2 文本清洗与停用词过滤

分词之后，最有用的操作之一就是去停用词。比如the、is、at、which这类词在几乎所有文本里都高频出现，但对语义分析没有太大帮助。NLTK 内置了多语种的停用词表，获取代码如下：

from nltk.corpus import stopwords stop_words = set(stopwords.words('english')) print(list(stop_words)[:30])

拿到停用词表之后，就可以对分词结果进行过滤。这里有一个常见误区：不要直接遍历 tokens 然后用 in 判断，因为 tokens 里的词可能有大小写和标点问题。最好是先做归一化处理，再去重和过滤。

filtered_tokens = [] for token in tokens: token_lower = token.lower() if token_lower.isalpha() and token_lower not in stop_words: filtered_tokens.append(token_lower)

我比较喜欢在过滤时加上isalpha()条件，这样可以直接把标点和数字剔除，得到的结果更加干净。如果某些场景需要保留数字，比如分析财务报表里的数字，那再单独处理。

停用词表也不是死的，你可以根据领域自定义。比如做新闻分类任务时，像told、reported、said这类词出现频率很高，但对判断新闻主题没有帮助，完全可以加进停用词表。NLTK 的集合对象支持 add 操作，我经常这样扩展：

stop_words.add('said') stop_words.add('reported')

2.3 词性标注与命名实体识别基础

词性标注是 NLP 中非常基础但也非常重要的一项任务。NLTK 的pos_tag函数接收 token 列表，返回每个词的词性标签。

tagged = nltk.pos_tag(filtered_tokens) print(tagged)

输出类似[('great', 'JJ'), ('toolkit', 'NN'), ('nlp', 'NN')]，其中NN表示名词，JJ表示形容词。这套标签体系用的是宾州树库（Penn Treebank）标准，几十个标签覆盖了常见的词性和短语标记。

你可能想问，知道词性有什么用？最简单的应用是提取名词短语来做关键词，比如我们判断一个词是专有名词还是普通名词，能帮助我们区分实体类别。也可以用形容词词性筛选出情感表达，比如做评论分析时，重点看形容词前后的搭配。

NLTK 也提供了命名实体识别功能，不过在旧版本中，使用nltk.chunk.ne_chunk(tagged)得到的结果是一个树形结构，需要遍历才能看到实体。这里我建议入门阶段先不要指望它识别英文复杂实体，因为 NLTK 的实体识别模型相对老化，覆盖类型有限，通常只能识别 PERSON、ORGANIZATION、GPE 等几类基本实体。遇到高质量实体抽取需求时，建议直接用 Spacy，NLTK 这里更多是理解原理用。

2.4 新闻文本的简单关键词提取

把 NLTK 的几个基础能力组合起来，就能做一个非常朴素但有参考价值的关键词统计，这也是 NLTK 在新闻文本处理里最常见的入门用法。整个思路是：分词、去停用词、统计词频、排序输出前 N 个词。

from collections import Counter import nltk from nltk.corpus import stopwords text = """ A major technology company announced a new product today. The product is designed to help users process large amounts of text data more efficiently. Company officials said the system will be available next month. """ tokens = nltk.word_tokenize(text.lower()) filtered = [ token for token in tokens if token.isalpha() and token not in set(stopwords.words('english')) ] freq = Counter(filtered) top_words = freq.most_common(10) print(top_words)

输出前几个高频词，比如company、product、text、users。这样粗糙的关键词提取虽然不如 TF-IDF 和 TextRank 准确，但作为理解和演示 NLP 基础流程绰绰有余。而且这个流程可以迁移到多种文本任务上，比如垃圾邮件分类、新闻主题聚类、用户评论关键词监控等。

不过在做新闻高频词统计时有一个坑，就是不同新闻稿件里人名和机构名出现频率非常高，像Trump、Biden、Apple这类词在没有实体识别的情况下会占据统计结果的前列。如果你想要的是主题词，建议先通过命名实体识别把人名、机构名剔除后再统计，效果会有质的提升。

3. Spacy 的管道处理与实战解析

3.1 加载模型与基础分词

Spacy 的用法和 NLTK 很不一样。NLTK 是一步步调用函数，而 Spacy 是先把语言模型加载出来，然后对文本执行统一处理管道。

import spacy nlp = spacy.load("en_core_web_sm") doc = nlp("Apple is looking at buying U.K. startup for $1 billion.") for token in doc: print(token.text, token.pos_)

这个doc对象包含了所有分析结果，整个过程在底层是一次性跑完成的。Spacy 的 API 设计非常统一，分词、词性、命名实体都在同一个对象里，不需要分开调用。这一点在生产级代码里特别省心，因为你不需要维护多个步骤之间的数据传递。

分词方面，Spacy 对英文的处理精细度比 NLTK 更高。比如U.K.这个缩写，Spacy 知道它是一个整体，不会像 NLTK 那样简单粗暴地拆开。诸如don't会被拆为do和n't，这符合语义分析的需求。所有 token 都可以通过token.text、token.lemma_、token.is_stop、token.pos_等属性直接访问。

如果你平时处理的是中文，Spacy 也提供了中文模型，比如zh_core_web_sm、zh_core_web_md。它的中文分词底层集成了 jieba 或者基于训练数据的分词算法，效果比 NLTK 的中文处理强很多。把要处理的文本切分为常规的 token 之后，就可以利用 Spacy 的管道做后面各种分析。

3.2 词性标注、依存分析与命名实体识别

Spacy 的词性标注可以分为两个层面：一个是粗粒度的token.pos_，比如动词、名词、形容词；另一个是细粒度的token.tag_，精确到具体形态，比如时态、单复数等。

for token in doc: print(f"{token.text:15} {token.pos_:10} {token.tag_:10} {token.dep_:10} {token.head.text}")

token.dep_是依存关系类型，比如nsubj表示名词主语，dobj表示直接宾语，nmod是名词修饰语。token.head指向这个词所依附的父节点，通过遍历这些头节点，我们能还原出整句话的句法结构。这听着有点抽象，但实际用起来很直观：如果你想提取一句话里的主谓宾结构，直接看nsubj和dobj关系即可。

命名实体识别是 Spacy 的优势功能，代码非常简洁：

for ent in doc.ents: print(ent.text, ent.label_)

输出Apple ORGANIZATION、U.K. GPE、$1 billion MONEY。GPE是地理政治实体，MONEY是金额。这些标签体系对新闻舆情分析、医疗文本信息抽取、客服工单分析等场景都非常有价值。

有一点需要提醒：en_core_web_sm模型是英文小模型，实体识别的精度满足一般场景，但遇到一些专业领域词汇，比如医学药品名、公司简称，可能识别不太准。如果你需要更高精度，要加载更大的模型，比如en_core_web_trf，这个模型基于 transformers 结构，精度大幅提升，但体量大、推理慢，需要 GPU 才能有良好的体验。所以不能一味追求大模型，要根据项目场景做选择。

3.3 在线问诊场景下的实体抽取

这里举一个对我自己帮助很大的案例：在线问诊文本信息的抽取。现在的医疗咨询网站和在线医生平台每天都有海量的用户描述文本，比如“我最近三天一直头疼，体温三十八度，嗓子疼，吃过阿莫西林没有效果”。如果用人工去整理这些信息，工作量巨大。如果用规则去写，各种表达变化又多到写不过来。

用 Spacy 可以先把症状、身体部位、疾病名、用药名这些实体识别出来。当然，默认的英文模型和中文通用模型都没有做医学领域训练，直接使用效果有限。但我们可以在这个基础上做二次开发，最常用的方法是加上自定义的规则组件或者在 Spacy 的模型上做微调。

如果只做演示或者数据量不大，先用规则匹配兜底也是一种可行方案。Spacy 提供了 Matcher 组件，它允许我们定义一些基于 token 文本或者词性的规则来匹配特定模式：

from spacy.matcher import Matcher matcher = Matcher(nlp.vocab) patterns = [ [{"LOWER": "head"}, {"IS_ALPHA": True}], [{"LOWER": "fever"}], ] matcher.add("SYMPTOM", patterns) doc = nlp("I have a bad headache and a slight fever.") for match_id, start, end in matcher(doc): print(doc[start:end].text)

这里我只是演示了一个简单模式，真实场景中可以把 Matcher 和模型输出的实体识别结果融合起来：先用 Spacy 提取通用实体，再用 Matcher 过滤出医患术语，最后通过规则判断每个症状是否带有否定词，比如“没有”“无”“不疼”等，从而区分“有症状”和“无症状”。这个思路在做医疗问诊文本预处理时非常实用。

对于中文在线问诊平台，同样可以直接使用zh_core_web_sm模型做基础分词和实体识别，然后用 Jieba 自定义词典补充医学词库，再配合 Matcher 规则提取。实际执行时你会发现效果比纯规则或纯模型都要好。这也是我在多个落地项目里比较推荐的一个组合套路。

3.4 可视化与批量处理技巧

Spacy 的另一个亮点是自带可视化工具 displacy，帮助你把语法结构或者实体识别结果直接渲染成彩色的 HTML 页面。这在做项目汇报、算法效果演示或者调试时非常有用。

from spacy import displacy doc = nlp("Apple is looking at buying U.K. startup for $1 billion.") displacy.render(doc, style="dep", jupyter=False)

如果你没有 Jupyter 环境，也可以直接输出 HTML 文件，然后用浏览器打开查看。实体识别的可视化是另一种风格，用style="ent"即可，每个实体都会有不同颜色做区分，非常直观。

批量处理方面，很多人的经验是逐条循环调用nlp(text)，其实 Spacy 提供了更高效的nlp.pipe()接口，它内部做了并发和批量处理优化。比如处理一千条新闻标题：

texts = ["title1", "title2", "title3"] docs = list(nlp.pipe(texts))

对比一下逐个处理，速度差距非常明显，尤其在文本条数多的时候。我在处理几万条短文本的时候，用 pipe 比直接循环快了三倍以上，而且代码还更简洁。

这里要特别提醒一点：不要在多线程环境下直接用同一个 nlp 对象处理文本。Spacy 对象不是线程安全的，如果你需要并行处理，应该每个线程单独加载一个模型实例。可以多个线程共享模型文件，但要各自 load 一遍，内存占用会相应上升。

4. 选型策略与搭配使用建议

4.1 两库能力对比速查表

结合我在项目里的使用经历，把 NLTK 和 Spacy 的核心能力整理成一个速查表，方便大家做选择判断。

看完这张表你就明白，NLTK 的护城河在于教学、算法理解和统计类文本处理，Spacy 的护城河在于工程落地、依赖句法分析和深度模型整合。

4.2 什么时候应该优先选择 NLTK

如果你目前是做文本数据探索和统计分析，比如算词频、看词共现、做词云，我建议直接上 NLTK。它内置的语料库可以帮你快速得到结果，免去造轮子的时间。

举一个很常见的小任务：计算一段文本里不同单词的词频分布。用 NLTK 的 FreqDist 只需几行代码：

from nltk import FreqDist fd = FreqDist(filtered_tokens) print(fd.most_common(10)) fd.plot(30)

同时 NLTK 的Text类还能做词汇多样性、词汇索引这些语言学分析，这些能力是 Spacy 不具备的。

如果你在做 NLP 相关算法学习，比如朴素贝叶斯分类器、隐马尔可夫模型、最大熵模型，NLTK 里都有单元测试集和实现参考。它不是库，更像是带有大量注释的教科书，适合一条条看源码理解算法原理。

此外，如果你的任务只是做干净的文本预处理后交给机器学习模型，而且数据量不大，用 NLTK 足够轻量。

4.3 什么时候应该优先选择 Spacy

只要你的任务需要从一段文本中提取结构化信息，比如关系、实体、事件要素，请直接上 Spacy，不要犹豫。新闻事件抽查、客服工单自动分类、舆情实体抽取，这些场景下 Spacy 的开箱效果能帮你省掉大把调试时间。

具体来说，如果你要做句子主谓宾结构分析，Spacy 的依存句法树让这件事变得非常直接。比如从新闻标题中抽取“谁做了什么事”，只需要解析句子后找到主语、谓语、宾语节点。如果用 NLTK 实现类似功能，你不得不自己写大段语法规则，还不一定准确。

同时，当文本量达到万级甚至百万级时，性能是不得不考虑的问题。Spacy 的流水线在处理速度和内存占用上都有明显优势，配合nlp.pipe()，会在很短时间内跑完大批量数据，这种能力在项目实时性要求高的时候至关重要。

还有一点很关键：Spacy 可以与 HuggingFace 生态很好地衔接。如果你后续要使用像 BERT 这类预训练模型做文本分类或 NER，Spacy 的spacy-transformers库可以无缝整合。而 NLTK 无论从哪里看，都看不出有这种可能。

4.4 双库组合使用思路

实际项目里，把两个库劣势互补的搭配方案效果很好。我常用的组合是：用 NLTK 做语料统计和文本清洗，用 Spacy 做深层结构分析和实体抽取。

举个例子，在一个新闻内容分析系统里，我先是把 NLTK 的停用词表做了领域扩展，然后用它对新闻正文做高频词统计，辅助编辑快速了解热点主题。在进入下一层分析的时候，用 Spacy 抽取新闻中的机构、人物、地点，再用这些实体做关系网络图。这样能各取所长。

不过在组合使用的时候要格外注意后处理的一致性：比如 NLTK 和 Spacy 对同一个英文句子切分出来的 token 可能完全不同，NLTK 会把don't拆成两个 token，Spacy 也会拆，但拆法可能不一样。所以如果你的下游特征依赖 token 对齐，要设计好一个统一的归一化规则，尽量在项目早期就固定用其中一个做 token 标准，以免两种结果混在一起后完全理不清逻辑。

5. 常见问题与排查技巧实录

5.1 下载慢、超时的完整解决方案

NLTK 下载数据包超时是高频问题，新手倒在这一步的不在少数。我提供三个递进式的解决办法。

第一步，切换 NLTK 的下载服务器到国内镜像。在 nltk 数据下载界面里把 Server Index 修改为一个可访问的镜像地址。不过这个操作在图形界面上的位置比较不显眼，很多版本里要点击最下方的Edit按钮才能看到。

第二步，如果镜像地址变了但还是超时，就直接手动下载。打开浏览器访问能用的站点，找到对应的数据包 zip，比如punkt.zip、stopwords.zip，下载后解压到对应的目录。目录结构是有讲究的：punkt要放在tokenizers/punkt/下面，stopwords要放在corpora/stopwords/下面。很多同学偷偷把文件放错地方，结果代码还是找不到数据，这是我自己踩过的坑。

第三步，如果只是希望用更快的方式下载完整数据，可以在命令行直接执行：

python -c "import nltk; nltk.download('all')"

这个命令会下载 NLTK 的所有数据包，几百 MB 的样子。境外网络好的话一次搞定，网络一般的话还是用前两步。

Spacy 模型下载慢的问题，处理思路类似。可以直接去官网或者镜像站下载模型压缩包，再用 pip 安装。需要特别注意版本对应问题：比如你安装的是 Spacy 3.x，那模型包版本也必须是 3.x 系列，否则加载的时候会直接报错，提示 model 版本不兼容。解决这个问题的办法就是查看已安装版本，然后下载对应版本号的模型包。

5.2 中文分词的客观认知与方案

很多教程不讲中文是因为他们根本没用过，但实际做中文 NLP 的人肯定绕不开这个点。如果你拿到一个中文 NLP 任务，想也不想就nltk.word_tokenize，多半会得到一个字一个字的列表，因为 NLTK 的中文支持是几乎没有的。

真正做中文分词，比较务实的方案是直接使用 jieba。jieba 的词库对网络文本、新闻、评论都有良好覆盖，分词速度也快。如果你后续要用 Spacy 做实体识别，可以把 jieba 切好的句子拼起来，再交给 Spacy 的中文模型处理。也可以直接用 Spacy 自带的中文模型，它本身已经做了分词，但词粒度更偏向规范词典，对网络新词的捕捉能力不如 jieba。

我尝试过在新闻标题分类任务中，用 jieba 分词和纯 Spacy 中文分词做对比：jieba 对长度较短的网络新词切分更合理，而 Spacy 在长句的句法分析上更稳定。所以如果你想做深度句法分析，建议用 Spacy 中文模型；只是做关键词、主题统计，jieba 足够。

还有一个容易忽略的问题：在中文文本处理里，英文字母、数字、标点混排的情况非常多，比如“iPhone15 电池耐用吗”。无论用哪种分词器，最好先做字符级的归一化，比如统一把全角字符转为半角，把大写字母统一转为小写，这样能避免后续很多意外问题。

5.3 运行中的常见异常与解法

NLTK 运行时报这些错是很常见的，尤其是数据路径不匹配的时候：

• LookupError: Resource punkt not found.——说明 punkt 数据没有被正确放到 nltk_data 目录里，按照我在前面提到的手动放置方法解决。
• Resource stopwords not found.——同理，停用词表没有找到。
• TypeError: expected string or bytes-like object——通常出现在对非字符串对象做正则或分词操作时，检查输入数据是否有 None 或非字符串类型。
• 编码错误UnicodeDecodeError——读取文本时没有指定正确的编码，建议在打开文件时强制指定encoding='utf-8'。

Spacy 加载模型报错最常见的是：

• OSError: [E050] Can't find model 'en_core_web_sm'——模型没有下载成功，或者没有用spacy.load加载到正确名称。
• ValueError: [E002] Can't determine which language to use——常见于 nlP 对象没有正确配置 language 参数。
• StreamNeededError——当你使用一个小模型，试图获取 token 的similarity向量时，发现模型没有词向量，最简单的方案是换用en_core_web_md或者更大的模型。

在跑大批量数据时，Spacy 还容易遇到 CPU 占用过高或内存不足的情况。我的处理思路是把数据切分成批量，用小批次循环送进 pipe 处理，并且中途及时把结果保存或者转存到 sqlite 数据库里，避免一次性把所有结果都堆在内存中。

5.4 提升实际使用质量的三点心得

第一，不要盲目追求大模型。以 Spacy 为例，小模型sm跑得快、省内存，适合原型展示和轻量分析；中模型md带词向量，适合语义相似度计算；大型 transformer 模型虽然有顶级精度，但没有 GPU 加持时速度极慢。我先给一个小任务用中模型的体验做了对比，比如同样的实体识别任务，小模型与中模型差距并不致命，没必要一上来就上重量级方案。

第二，规则和模型要结合，不要只依赖模型。不管是 NLTK 还是 Spacy，模型都会有识别错误。在实际场景里，我会在模型结果上叠一层领域规则，比如标点修复、否定词检测、自定义词典匹配等。这样能兼顾模型的泛化能力和规则的可控性。

第三，养成保存流水线的习惯。Spacy 允许你把处理好的 nlp 对象保存到本地，下次直接加载，不必每次重复配置规则和扩展组件。

nlp.to_disk("/path/to/save") nlp = spacy.load("/path/to/save")

如果你在做规模化项目，这种镜像式的保存方式能保证每次交付给团队或服务的处理逻辑是同一套。

回到最开始的问题，NLTK 和 Spacy 不是二选一的关系。结合我自己的经验，NLTK 是你理解 NLP 原理的启蒙导师，Spacy 是把 NLP 变成生产力的工程利器。先把 NLTK 的几个基础流程亲手敲一遍，再切换到 Spacy 感受管道化处理的流畅，你对 NLP 处理全流程的掌控会比只学其中一个要扎实得多。上手阶段遇到下载慢、版本不匹配、中文分词不理想这些问题都很正常，照着本文排查思路走一遍，基本都能解决。后面如果你在业务里折腾出更多坑点和解法，欢迎来交流，互相补全经验。