1. 为什么小白也需要一个自己的 AI 知识库
你可能已经遇到过这种场景：手头攒了几十份 PDF 报告、一堆 Markdown 笔记、还有几个网页收藏，想问 AI 一个具体问题，它却只能凭训练时的记忆瞎编，完全不知道你这些资料里写了什么。这就是通用大模型的天花板——它不认识你的私有数据。
RAG（检索增强生成）就是来解决这个问题的。简单说，它先把你的文档切成小块、转成向量存起来，你提问时先检索出最相关的几段，再连同问题一起喂给大模型，让它基于你的资料回答。这样既不用重新训练模型，又能让回答有据可查。
AnythingLLM 把这一整套流程做成了一个桌面软件，开源免费，Windows、Mac、Linux 都能跑，数据全在本地。DeepSeek 则负责推理那一步，中文理解好、Token 成本低。两者配合，你就能拥有一个只属于自己资料库的问答助手。
这篇面向零基础用户，从装软件、配 Key、传文档到验证检索，一步步走完。模型接入部分我用 TaoToken 统一管理 Key 和 API 通道，省得在多个平台之间来回切换。官网在 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，后面配置会用到。
2. 前置准备：装好 AnythingLLM 并拿到可用的 API Key
2.1 安装 AnythingLLM Desktop
去 anythingllm.com 下载对应系统的安装包，双击一路下一步即可。它不需要注册账号，装完直接打开就是一个完整的工作台。首次启动会让你选一个数据存储目录，默认就行，所有向量和文档都放在那里，不会上传到任何云端。
打开后左下角有个扳手图标，那是设置入口。先别急着传文档，我们先把「大脑」接上。
2.2 为什么用 TaoToken 统一接入
AnythingLLM 支持很多模型提供方，你可以直接填 DeepSeek 官方 Key，也可以填 OpenAI、Claude 等。但如果你同时用好几个模型，每个平台都要注册、充值、管 Key，切换起来很烦。TaoToken 的思路是提供一个统一的 API 通道，一个 Key 就能调用多种模型，Base URL 和 Key 格式保持 OpenAI 兼容，AnythingLLM 里直接选 OpenAI 兼容模式填进去就行。
对小白来说，好处是：只维护一个 Key，换模型只改一个模型名，不用重新注册。API 地址是 https://taotoken.net/api ，注意这个不带任何参数，直接填。
2.3 获取 Key 的路径
登录 TaoToken 控制台后，进 API Keys 页面创建一个新 Key，复制下来。这个 Key 只显示一次，建议先粘到记事本里。如果你还没账号，从官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 进去注册即可。
注意：Key 相当于密码，不要截图发群里，也不要写进会公开的代码仓库。AnythingLLM 本地存储是加密的，但养成好习惯没坏处。
3. 可复制配置：在 AnythingLLM 里接上 DeepSeek
3.1 LLM 提供方设置
打开设置 → LLM Preference。Provider 选「Generic OpenAI」（通用 OpenAI 兼容），然后填三个关键字段：
| 字段 | 填写内容 |
|---|---|
| Base URL | https://taotoken.net/api |
| API Key | 你刚创建的 TaoToken Key |
| Chat Model Name | deepseek-chat |
Chat Model Name 这里填你要用的模型标识。DeepSeek 的对话模型一般用 deepseek-chat，推理增强版可以用 deepseek-reasoner，具体以 TaoToken 控制台模型列表里显示的为准。填完点 Save，右上角会提示保存成功。
3.2 一份 settings.json 骨架参考
AnythingLLM 的配置最终会落到本地存储目录下的 settings.json。你不需要手动改它，界面操作会自动写入。但了解结构有助于排障，下面是一份脱敏后的骨架，字段名和层级是真实的：
{ "LLMProvider": "generic-openai", "GenericOpenAiLLM": { "model": "deepseek-chat", "basePath": "https://taotoken.net/api", "apiKey": "sk-你的Key", "temperature": 0.7, "maxTokens": 2048 }, "EmbedderProvider": "native", "VectorDBProvider": "lancedb", "Workspace": { "name": "my-knowledge-base", "similarityThreshold": 0.25, "topN": 4 } }几个参数解释一下。temperature 控制回答随机性，知识库问答建议 0.3 到 0.7，太高容易自由发挥。topN 是每次检索返回的片段数，4 到 6 比较平衡，太小可能漏掉关键信息，太大则塞给模型的上下文变长、成本上升。similarityThreshold 是相似度门槛，低于这个值的片段会被丢弃，0.25 是个保守起点。
3.3 Embedding 与向量库
Embedding 模型负责把文本转成向量。AnythingLLM 自带一个本地 embedding 引擎，新手保持默认即可，它会在你第一次上传文档时自动下载模型。向量库默认 LanceDB，本地文件形式，零配置。
如果你后面想换 bge-m3 这类多语言更强的 embedding，需要本地跑 Ollama 加载模型，再在设置里把 Embedder 切成 Ollama。这一步对纯小白可以先跳过，默认引擎处理中文文档已经够用。
4. 上传文档、向量化与对话验证
4.1 建立工作区并上传
左侧点「New Workspace」，起个名字，比如「我的资料库」。进入工作区后，点上传图标，支持 PDF、TXT、CSV、Markdown，也能直接抓网页 URL。选一个你的 PDF 拖进去。
上传后文件会出现在列表里，但此时还没进知识库。你需要点文件右侧的「Move to Workspace」，然后务必点一下「Save and Embed」。这一步才是真正的向量化，界面会显示进度。很多人卡在这里——只上传不 Embed，提问时当然检索不到。
4.2 验证向量化是否成功
Embed 完成后，工作区文档列表里每个文件会显示被切成的片段数（chunks）。如果显示 0，说明解析失败，可能是扫描版 PDF 没有文字层，需要先做 OCR。正常一份 20 页的 PDF 大概会切成几十到上百个片段。
4.3 发起对话并查看引用
点「New Thread」开一个新对话，直接问一个只有你文档里才有的问题，比如「第三章提到的部署步骤有哪些」。如果配置正确，模型会基于检索到的片段回答，回答底部有一个「Show Citations」按钮，点开能看到它引用了哪几个片段、来自哪个文件第几页。
这一步是判断 RAG 是否真正跑通的关键。如果回答泛泛而谈、Citations 为空，说明检索没命中，回到第 5 节排查。
4.4 用 curl 单独验证 API 通道
有时候问题出在 Key 或网络层，而不是 AnythingLLM。你可以用一条 curl 命令单独测一下 TaoToken 通道是否通：
curl https://taotoken.net/api/v1/chat/completions \ -H "Authorization: Bearer sk-你的Key" \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-chat", "messages": [{"role": "user", "content": "你好，回复一个字"}] }'如果返回 JSON 里 choices 有内容，说明 Key 和通道都没问题，那 AnythingLLM 里的问题就是配置字段填错了。如果返回 401，检查 Key 是否复制完整；返回 404，检查 Base URL 是不是多写了或少了 /v1。
5. 本篇常见错误排查
报错一：保存 LLM 设置时提示连接失败。九成是 Base URL 填错。TaoToken 的地址是 https://taotoken.net/api ，不要在后面加 /v1，AnythingLLM 会自动补全路径。如果你填了带 /v1 的地址，可能变成 /v1/v1/chat/completions 导致 404。
报错二：上传文档后提问，回答「我没有相关信息」。先确认文件是否点了 Save and Embed，再看片段数是否大于 0。如果片段数是 0，换一个文本型 PDF 测试，排除扫描件问题。还可以把 similarityThreshold 临时调到 0.1，看是否能检索到，能的话说明门槛设太高。
报错三：Embedding 阶段卡住不动。首次运行需要下载本地 embedding 模型，体积几百 MB，网络慢时会卡。看设置里的 Embedder 页面有没有下载进度。如果长时间无响应，重启软件再试，已下载的部分不会重来。
报错四：回答里引用了不相关的片段。这是切分策略问题。AnythingLLM 默认按固定长度切，遇到表格或代码容易切断语义。可以在工作区设置里调整 chunk size，或者把长文档先手动拆成主题更集中的几个文件再上传。
报错五：Key 明明对，但一直 429。429 是频率限制，说明短时间内请求太多。知识库问答一次会带多个检索片段，Token 消耗比普通对话大。等几十秒重试，或者把 topN 调小到 3，减少单次上下文长度。
6. 把通道固定下来，后面换模型只改一个字段
走到这里，你的本地 RAG 已经能跑了：文档在本地、向量在本地、只有推理请求发出去。这套结构最大的好处是可替换——哪天你想把 deepseek-chat 换成别的模型，只需要在 LLM 设置里改 Chat Model Name 一个字段，Base URL 和 Key 都不用动。这就是统一通道的价值。
如果你打算长期用、或者想接进自己的脚本和 Agent 里，建议把 Key 和通道单独管理，别散落在各个工具里。API Keys 页面在 https://taotoken.net/console/api-keys ，接入文档在 https://taotoken.net/doc ，里面有各语言的调用示例。需要长期跑编码或 Agent 任务的，可以看 Coding Plan：https://taotoken.net/coding-plan 。想先试试模型对话效果的，直接进 https://taotoken.net/models 体验。
我自己的习惯是：知识库这类一次性配置好就不动的，用普通 Key；需要频繁调模型做实验的，单独建一个 Key 方便随时吊销。这样即使某个 Key 泄露，影响范围也可控。
