一、什么是QAnything
QAnything (Question and Answer based on Anything) 是一款由网易开源的本地知识库问答系统，致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用，非常适合对数据安全有高要求的场景。
您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。
目前已支持格式:
- PDF(pdf)
- Word(docx)
- PPT(pptx)
- XLS(xlsx)
- Markdown(md)
- 电子邮件(eml)
- TXT(txt)
- 图片(jpg，jpeg，png)
- CSV(csv)
二、QAnything的特点
● 数据安全，支持全程拔网线安装使用。
● 支持文件类型多，解析成功率高，支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
● 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好，不限制上传文件数量，检索速度快。
● 硬件友好，默认在纯CPU环境下运行，且win，mac，linux多端支持，除docker外无依赖项。
● 易用性，无需繁琐的配置，一键安装部署，开箱即用，各依赖组件（pdf解析，ocr，embed，rerank等）完全独立，支持自由替换。
● 支持类似Kimi的快速开始模式，无文件聊天模式，仅检索模式，自定义Bot模式。
三、QAnything的架构
四、特性介绍
4.1 最新特性表
| 特性 | python(v1.4.2) | docker(v1.1.2) | 全部QAanything(v2.0.8) | 说明 |
|---|---|---|---|---|
| 详细安装文档 | ☐ | ☐ | ☐ | |
| API支持 | ☐ | ☐ | ☐ | |
| 生产环境（小型生产环境） | ☐ | ☐ | ✅ | |
| 离线使用 | ☐ | ☐ | ✅ | |
| 支持多并发 | ☐ | ☐ | ✅ | |
| 支持多卡推理 | ✅ | v2.0.8版本不再提供默认版本LLM，需用户自行通过ollama等工具部署本地LLM | ||
| 支持Mac（M系列芯片） | ✅ | ✅ | ||
| 支持Linux | ✅ | ✅ | ✅ | python旧版本Linux默认安装tensorflow-cpu，如需使用cudn2-gitb=2.0时自动切换为nonatickm |
| 支持windows（无需WSL） | ✅ | ✅ | python旧版本均可以通过安装支持cudn2直接在非WSL环境下启动 | |
| 支持CPU环境 | ✅ | ✅ | ✅ | |
| 支持bertembedding（BM2相似度排序） | ✅ | ✅ | ✅ | |
| 支持联网检索（需外网VPN） | ✅ | |||
| 支持FAQ问答 | ☐ | ☐ | ✅ | |
| 支持自定认机器人（可绑定知识库，可分享） | ☐ | ☐ | ✅ | |
| 支持文件溯源（数据来源可直接点击打开） | ☐ | ☐ | ✅ | |
| 支持问答日志检索 | ☐ | ☐ | ✅ | |
| 支持解析语音文件（依赖ffmpeg，解析速度慢） | ✅ | ✅ | ||
| 支持OpenClossOS | ☐ | ✅ | ||
| 支持与OpenAI接口兼容（直接开搞大模型免费的钱钱） | ☐ | ✅ | ||
| rdf（包含表格解析效率++） | ✅ | v1.4.2版本手动设置，v0.0.0无手动设置，qdf解析效果和性能均有提升 | ||
| 用户自定义embed、trank接口（实验性，提升速度） | ✅ | v1.4.2需手动设置，v2.0.0默认使用最佳配置 | ||
| 其他文件类型解析效果++ | ✅ | |||
| 支持独立服务调用 | ☐ | ☐ | ✅ | v2.0.9版本独立服务器，包括chat服务，可独立调用（http） |
| 支持快速开始模式 | ☐ | ☐ | ✅ | 快速开始，无需创建知识库，支持无文件问答 |
| 支持仅检索模式 | ☐ | ☐ | ✅ | 仅返回检索结果，不调用大模型进行问答 |
| 支持解析结果chunk内容可编辑，手动编辑 | ☐ | ☐ | ✅ | v2.0.0版本支持手动编辑chunk内容，实时生效 |
| 支持解析图片文档，支持回 | ✅ | |||
4.2 V2.0.0版本新增细节优化：
● 支持前端配置API_BASE，API_KEY，文本分片大小，输出token数量，上下文消息数量等参数
● 优化Bot角色设定的指令遵循效果，每个Bot可单独配置模型参数
● 支持创建多个对话窗口，同时保存多份历史问答记录
● 支持问答记录保存成图片
● 优化上传文件逻辑，解析文件与问答请求独立，上传文件不再影响问答
● 优化镜像大小，旧版本镜像压缩后大小为18.94GB->新版镜像压缩后大小为4.88GB，降为原有的1/4，提供完整Dockerfile
● 检索优化，chunks新增片段融合与排序，聚合单文档或双文档
● 检索阶段和问答阶段均嵌入metadata信息，提升检索和问答效果
4.3 各阶段数据展示：
● 知识库所有文件上传进度展示 ● 知识库单个文件上传进度展示，上传各阶段耗时 ● 问答信息统计，包含问答各阶段耗时，tokens消耗，模型信息等 ● 用户信息统计，包含上传文件总数量，总耗时，问答历史记录等
五、安装指南
5.1 必要条件
| 系统 | 依赖 | 要求 | 说明 |
|---|---|---|---|
| 通用 | RAM Memory | >= 20GB | |
| Linux/Mac | Docker version | >= 20.10.5 | [docker install] |
| Linux/Mac | docker compose version | >= 2.23.3 | [docker-compose install] |
| Windows | Docker Desktop | >= 4.26.1（131620） | [Docker Desktop for Windows] |
5.2 下载及安装
在 Linux 上启动docker-compose -f docker-compose-linux.yaml up -d# 在 Mac 上启动docker-compose -f docker-compose-mac.yaml up -d# 在 Windows 上启动docker-compose -f docker-compose-win.yaml up -d
`
这一步包括拉取镜像和启动，拉取镜像的过程较长，大概10多分钟。
5.3 使用演示
- 新建知识库：上传本地文件，系统自动解析。
- 问答体验：输入问题，获取精准答案，支持溯源查看原文。
- 自定义Bot：绑定知识库，打造专属AI助手。
QAnything默认端口：8777，运行成功后，即可在浏览器输入以下地址进行体验：http://localhost:8777/qanything/
新建知识库：
上传文档集：
录入问答集：
六、总结
- QAnything是一款强大且易用的本地知识库问答工具，特别适合企业、研究团队或个人用户管理海量文档。
- 它的离线安全、多格式支持和高效检索能力，使其成为知识管理的利器。
- 无论是搭建内部知识库，还是快速查找文件内容，QAnything都能轻松胜任。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
