摘要
你是否遇到过这种情况？电脑里存了几千个 PDF、Markdown 笔记，想找资料时却怎么也搜不到？ 想用 AI 辅助分析，又不敢把公司的机密文档发给 ChatGPT？
今天这篇教程，我将手把手教你利用Ollama（后端模型运行器）+AnythingLLM（超强知识库前端），在本地电脑搭建一个完全免费、无需联网、数据绝对安全的个人 AI 知识库。全程无需写代码，有手就行！建议收藏慢慢看。
目录
为什么要搭建个人 AI 知识库 (RAG)？
核心工具介绍（Ollama + AnythingLLM）
第一步：安装 Ollama 并拉取模型
第二步：部署 AnythingLLM 桌面版
第三步：投喂数据，见证奇迹
进阶玩法：云端大模型（Gemini 3 Pro）接入
1. 为什么要搭建个人 AI 知识库 (RAG)？
简单的说，通用的 AI（如 ChatGPT）像是一个博学的博士，但他不知道你公司的内部规定，也不知道你去年的会议纪要。
RAG (检索增强生成)技术，就是给这个博士配了一本**“你的专属笔记本”**。当你提问时，他会先翻笔记本，再回答问题。
本地搭建的优势：
🔒隐私安全：数据不出本地，断网也能用。
💰完全免费：不需要充值 API，电费就是成本。
🧠懂你：它可以读取你的代码库、论文、电子书。
2. 核心工具介绍
我们将使用目前 GitHub 上最火的“黄金搭档”：
Ollama：本地大模型运行神器，支持 Llama 3, DeepSeek, Mistral 等主流模型。轻量级，一行命令启动。
AnythingLLM Desktop：专为 RAG 设计的桌面端应用，自带向量数据库，界面友好，支持一键把各种文档变成知识库。
3. 第一步：安装 Ollama 并拉取模型
1. 下载安装访问 Ollama 官网 (ollama.com)，下载对应系统（Windows/Mac/Linux）的安装包并安装。
2. 验证安装打开终端（CMD 或 Terminal），输入：ollama --version如果出现版本号，说明安装成功。
3. 拉取模型我们推荐使用国产之光DeepSeek或者Llama 3（根据你的显存大小选择）。在终端输入：
# 拉取 DeepSeek 7B (适合 8G 内存以上电脑) ollama run deepseek-coder:v2 # 或者拉取 Llama 3 (通用性强) ollama run llama3注意：第一次运行会自动下载模型权重文件（约 4GB），请保持网络畅通。
4. 第二步：部署 AnythingLLM 桌面版
1. 下载去 AnythingLLM 官网 (useanything.com) 下载 Desktop 版本。
2. 配置向导安装后打开，你会看到配置向导：
LLM Preference (首选模型):选择Ollama。如果你的 Ollama 在后台运行，它会自动检测到。选择刚才下载的
deepseek-coder或llama3。Vector Database (向量数据库):默认选择自带的LanceDB即可（无需配置，开箱即用）。
3. 创建工作区起个名字，比如“我的编程学习库”或“公司项目文档”。
5. 第三步：投喂数据，见证奇迹
这是最关键的一步！
在 AnythingLLM 界面中，点击Upload (上传)按钮。
支持格式：PDF, TXT, MD, DOCX，甚至可以直接贴 GitHub 仓库链接！
上传后，点击"Move to Workspace"，然后点击"Save and Embed" (保存并向量化)。
这一步系统会把你的文档切片，转换成 AI 能读懂的数学向量。
测试效果：回到聊天框，勾选你刚才上传的文档，提问：
“根据我上传的《架构师笔记.pdf》，总结一下微服务的优缺点。”
你会发现，AI 不仅回答了问题，还会列出引用来源（Citations），告诉你这段话出自文档的第几页！
6. 进阶玩法：云端大模型接入（追求极致效果）
如果你觉得本地模型跑得慢，或者电脑配置不够，你可以接入云端 API。
最近Gemini 3 Pro非常火，长文本处理能力极强（1M+ Context）。如果你有 API Key，可以在 AnythingLLM 设置中：
LLM Provider:选择Google Gemini
API Key:填入你的 Key
这样，你就拥有了一个**“拥有超级大脑 + 你的私人记忆”**的终极形态！
Tips:申请 Gemini API 需要外币卡？如果遇到支付困难，可以翻看我之前的文章白嫖gemini 3 pro方法-CSDN博客
别再傻傻付费了！用这张“隐形卡”，白嫖市面上99%最强AI工具（保姆级教程，手慢无！）-CSDN博客
结语
搭建个人知识库，是每个技术人从“初级工”迈向“专家”的必经之路。它不仅能帮你管理知识，更能帮你通过 AI 发现知识盲区。
动手试试吧！如果在安装过程中遇到报错，欢迎在评论区贴出截图，我会在 24 小时内回复！
