用LLM学人工智能实操指南：从Prompt到RAG的完整方法

用LLM学人工智能这事，我实操了大半年，期间踩了不少坑，也总结出一套自认为靠谱的方法。现在网上讨论最多的话题就是“LLM 是什么”“人工智能学习路径怎么规划”“大模型能不能帮我找工作”，但真正把这两个东西串起来、用LLM作为学习人工智能的杠杆来用的系统性文章其实不多。这篇文章就把我这半年“边对话边学习、边做项目边补理论”的经验完整写出来，内容包括整体思路、工具选型、环境搭建、具体的Prompt玩法、RAG知识库实战，以及各种报错和幻觉问题的排查思路。适合刚入门AI的学生、想转大模型方向的工程师、以及所有觉得“知识点太散、资料太多啃不动”的人。

1. 先给LLM定好位：它到底帮我们解决学习里的哪些事

1.1 让LLM当“导师”而不是“答案机”

很多人用LLM学习时犯的第一个错误，是把它当成一个高级版搜索引擎。遇到不懂的概念，随手抛一句话，模型给你一段看起来无懈可击的解释，复制粘贴到笔记里，关掉对话框，然后发现自己根本记不住。这不是学习，这是搬运。

真正能让人理解一个概念的方式，是反复追问。比如你问“什么是梯度下降”，模型给出定义，你继续问“能不能用下山来比喻”，又说“那为什么下山的时候要控制步长，步长太大会怎样”，再说“如果步长太大导致震荡，有什么办法解决”。这一连串追问的过程，就是苏格拉底式的主动学习。LLM在这时候不会像老师一样不耐烦，也不会像搜索引擎一样只丢给你一堆链接，它可以按照你的理解水平随时调整语言的颗粒度——这是它作为“AI导师”的核心价值。

所以我给LLM的第一个定位，是“私有助教”。它不负责替你学习，但它负责把你引导到正确的思考路径上。用过一段时间之后你会发现，提问的质量直接决定收获的大小，而提问的能力恰好又是做AI研究和工程的重要基本功。

另一个被忽视的用法是让LLM“反向考你”。我经常在学完一个模块后，让模型充当面试官，用一组递进式的问题来检验我的理解。比如学完注意力机制，我会让它先出基础问法，再出需要综合多个概念才能回答的问题，最后直接变成一个15分钟的模拟问答。这种“被迫输出”的压力测试，比读十篇论文都管用。

1.2 先画学习地图，再请LLM当导游

没有地图就出发，所有学习都会变得混乱。人工智能这个领域最不缺的就是名词，机器学习、深度学习、神经网络、大模型、强化学习、知识图谱、RAG、Agent、多模态……如果只是在对话里这里看一眼、那里问一句，很容易学了三个月还停留在“AI就是ChatGPT”的水平。

我梳理过一条适合绝大多数人的学习主线，也建议你在第一天就用LLM来完善这条路线的细节。大致是这样的：

数学基础（线性代数、概率论、微积分、最优化）→ 经典机器学习算法（回归、分类、聚类、树模型、SVM）→ 神经网络与反向传播 → 深度学习（CNN、RNN、LSTM）→ 注意力机制与Transformer → 大语言模型LLM专项 → LLM应用工程化（RAG、Agent、微调、评测）→ 具体方向（CV、NLP、语音、多模态、AI安全等）。

为什么说“LLM是否属于深度学习”这种问题不能含糊，因为它正好踩在知识体系的连接点上。LLM不是凭空冒出来的独立学科，它建立在Transformer架构之上，而Transformer又建立在深度学习中序列建模和注意力机制之上，再往前又追溯到神经网络的基础——反向传播和表示学习。如果你直接上手学LLM，不理底层，短期内看“会调API”“会写Prompt”好像还挺顺，但一旦遇到需要优化模型效果、定位推理性能瓶颈、设计评测方案这类深一点的问题，就会明显感觉到基础不够用。

更具体的做法是：拿着上面这条路线去问LLM，让它给你按周拆分一份计划，同时标出每个阶段要学会哪些概念、能做哪些小项目、需要读哪几篇代表性论文。然后再让它扮演一个“严格的导师”，对照计划检查你有没有跑偏。我自己就是这么用的，几乎每天都会让模型帮我重新调整当天的学习节奏，效果非常明显。

2. 学习环境怎么搭：模型选型、本地部署和Token基础

2.1 云端API和本地开源模型怎么选

我见过不少人一开始就想自己训练一个几十B的大模型，结果连环境都没跑通就放弃了。正确做法是分清两种情况：用模型和学模型。学模型的时候，你应该先熟练使用成熟的云端API，把精力集中在理解问题和设计方案上；而当你开始研究模型内部机制、想动手跑推理、做评测、调Prompt、甚至微调时，就需要本地部署一套开源模型。

我整理了一张上手时的选型对照表，可以保存下来参考。

我的建议是双轨并行。平时讨论概念、梳理知识点用云端模型，因为它聪明、回答质量高；做项目实验、处理个人笔记、研究模型行为时用本地模型，因为可以反复调试且没有隐私顾虑。

2.2 本地部署没有想象的难：我用的三步操作

很多教程把本地跑LLM写得特别吓人，又是CUDA又是vLLM又是Docker。其实现在开源生态已经非常成熟，本地部署一个小模型，三步就能跑通。我推荐Ollama这套工具，它把模型管理、权重的下载、推理服务、API提供全包了，对新人极度友好。

第一步，安装Ollama。安装完成后，在终端里执行拉取模型命令。以阿里开源的Qwen系列为例，命令非常简单：

ollama pull qwen2.5:7b

这条命令会把模型权重下载到本地磁盘，不同模型的大小差异很大，7B级别的模型量化后大约需要4到6GB空间，14B级别大约需要9到11GB，建议先根据自己电脑内存情况选型号。

第二步，启动服务。Ollama装好后会自动在后台运行，你也可以手动确认服务状态：

ollama serve

默认服务地址是http://127.0.0.1:11434，它的API设计和众多大模型平台保持兼容，所以后面不管是接Python、接LangChain，还是接支持OpenAI格式的工具，都毫无压力。

第三步，写一段Python代码调用它。下面这个例子是我常用的“最小可运行版”，复制的程度为零，保证贴到编辑器里就能跑：

import requests payload = { "model": "qwen2.5:7b", "messages": [ {"role": "system", "content": "你是一位严谨的AI学习导师。"}, {"role": "user", "content": "用一句话解释什么是自注意力机制。"} ] } resp = requests.post("http://127.0.0.1:11434/api/chat", json=payload) print(resp.json()["message"]["content"])

运行成功的话，你会看到一条对自注意力机制的精炼解释。这时候本地模型就是一个完整的推理环境了，你可以改采样温度、限制回复长度、观察不同参数对输出的影响，这些细微的体验是直接用云端API无法获得的。

2.3 必须搞懂的Token机制：key、query、value在做什么

开始真正使用LLM之后，你早晚会遇到三个绕不开的词：Token、上下文窗口、key/value/query。不搞清楚它们，你连“为什么同样的对话要收不同费用”“为什么长文本会报错”都理解不了。

先说Token。模型并不按字处理文本，而是把文本切分成一个个小块，每个块称为一个Token。中文里通常一个汉字等于一到两个Token，英文里一个单词往往是一到两个Token。你发给模型的输入和模型生成的输出都会被折算成Token数量来计费，云端API按Token收费就是因为这个。上下文窗口则是模型一次性最多能容纳的Token数量，比如8K、32K、128K，超过这个量就会被截断或者直接报错。

至于key、query、value，它们来自注意力机制。这里可以用图书馆找书来类比：钥匙是你手里的索书号卡片，上面写着这本书的分类编号和位置；查询是你脑子里“我现在要找什么主题的书”这个需求；值则是你真正从书架上取下来、翻开来读到的正文内容。模型在处理一句话时，会先给每个词生成一个“钥匙”（key）标记它在句中的角色，再根据当前关注的位置生成“查询”（query）去匹配所有钥匙，最后按匹配程度加权汇总对应的“值”（value）。这个机制直接决定了模型能否正确捕捉“他”指代的是谁、“那件事”对应的是哪件事，也是LLM学习能力强大的底层原因。

理解了这三者，以后再遇到“注意力机制到底在做什么”“为什么Token一多又慢又贵”的问题，你已经能自己解答了。

3. 三个“用LLM学AI”的高效场景，我实测过

3.1 分层解释法：一个Prompt把Transformer讲透

Transformer是当代大语言模型的地基，但也是无数新手的第一道坎。模型结构图一摆，又是Encoder又是Decoder，又是多头注意力又是位置编码，很容易让人劝退。

我总结出一个叫“分层解释法”的Prompt模板，用它拆任何复杂概念都特别好用。核心思路是强制让LLM用不同深度解释同一个概念。具体Prompt我建议这样写：

请分别用四种层次向我解释“Transformer中的自注意力机制”： 第一层：用小学生能听懂的比喻； 第二层：用高中理科生能听懂的类比； 第三层：用大学CS本科生的语言，结合公式和结构图来描述； 第四层：用研究生论文级别的精确表述，包含数学符号和技术术语。 四个层次互相独立，逐条输出。输出后请告诉我每个层次适合在学习的哪个阶段使用。

这个Prompt看起来简单，但它一举解决了“解释太浅学不到东西”和“解释太深直接放弃”的矛盾。我自己的使用路径是先读第一层，确保大致画面感；再跳到第二层把机制和“查询、钥匙”对应起来；然后认真啃第三层，看到“Q、K、V矩阵”这些术语时就不怕了；最后才去看第四层，验证自己的理解和严谨表述是否一致。

之后务必追加一个问题：“请帮我找出四个层次中描述不一致的地方，并解释为什么会不一致。”这一步会逼模型思考逻辑自洽性，也能帮你发现概念里最容易混淆的部分。

3.2 场景二：让LLM当出题老师，倒逼自己输出

学习科学里有个共识，输入式的阅读效率远低于输出式的测试。自己以为懂了，真做题时才发现漏洞百出。用LLM学习的一大优势，就是可以低成本获得无限数量的题目。

我在学机器学习基础时常用的一个Prompt是：

你是一位严格但耐心的机器学习老师。请基于以下知识点（列出今天学的内容）出10道题： 前5道是概念理解题； 后5道是应用题，需要结合多个知识点才能解出。 出完先不要给答案，等我回答后你再逐题批改，并解释我错在哪里。

不要小看这个玩法。当你被一道题卡住时，你先自己想办法、翻资料、推导，实在不行再让LLM给提示。这个提示过程本身就是深度思考。如果每次做题都先让模型给答案，效果会大打折扣。

我还有一个进阶操作，叫“AI反向质疑”。它并不会一直顺着你，你完全可以让它扮演一个杠精，专门挑你表达中的漏洞：

我刚学完反向传播，下面是我的理解：它通过链式法则从输出端往输入方向计算梯度，然后更新权重。 请你扮演一个严厉的批判者，不停针对我的理解找出不严谨之处，直到我给出的解释能经得起你的追问为止。

这个办法特别适合检验自己是不是“半桶水”。真实场景中，很多所谓“懂了”，在批判者的连串追问下很快就崩了，但崩掉的地方恰恰就是你需要补的地方。

3.3 场景三：用RAG给自己搭一套AI知识库，边学边练

当基础知识积累到一定程度，就可以进阶到一个特别重要的工程范式：RAG（检索增强生成）。RAG这个词在热搜词里高频出现，它本质上是“先检索相关资料，再让模型基于这些资料生成答案”，用来弥补模型知识陈旧、幻觉多的问题。

我建议把它作为第二个实战项目。方法是收集十几篇人工智能经典论文或者你正在看的教程文档，放到一个文件夹里，然后写一个脚本把它们切成一块块的文本，转成向量存起来，再把提问和你的资料库一起交给LLM回答。相关代码我提供一个最小的参考：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader documents = SimpleDirectoryReader("./papers").load_data() index = VectorStoreIndex.from_documents(documents) query_engine = index.as_query_engine() response = query_engine.query("这篇论文提出的方法，和之前的Attention Is All You Need相比，核心区别是什么？") print(response)

如果还没安装LlamaIndex，执行pip install llama-index-core llama-index-readers-file即可。跑通之后，一定要手工检查两件事：一是切分粒度，过小的块会丢失上下文信息，过大的块会冲淡检索相关性；二是检索质量，直接看模型到底从哪段文本里摘取了答案，判断命中有没有道理。这个“查证据”的习惯，能让你对RAG的理解远超只会调库的人。

等你把RAG跑顺了，就可以把书签、论文、课程笔记都丢进去，搭建一个属于你自己的私有知识库。到那时，“用LLM学习人工智能”就从一种对话方式，变成了一个真实的生产力系统。

4. 学习路上的坑和方向选择：一次讲清

4.1 模型幻觉：怎样判断LLM讲的东西到底对不对

使用LLM学习有个天然风险：它一本正经地胡说八道。如果你毫无保留地相信模型的解释，那还不如不学。我见过有人把模型说错的数学公式当成定论记了一个月，后来翻书才发现完全对不上。

我的做法是“三角验证法”。第一层交叉验证，遇到关键结论时不只问一个模型，我会把同样的问题分别提交给两个不同模型，对比它们的表述，如果不一致就深挖原因。第二层证据验证，让模型给出推理过程或引用来源，然后人工翻原始资料确认。第三层实验验证，但凡涉及公式、伪代码、算法流程的内容，都要亲手跑一遍，或者手工模拟一个极小的数据样本推导。模型说反向传播要更新权重，你就在纸上手推一个两层的例子算一遍，眼见为实。

顺便聊聊“LLM as Judge”这个热门玩法。简单说就是用LLM来评价LLM的答案，比如让一个模型打分、另一个模型生成回复。这个方法用在学习场景里，就是让两个模型分别解释同一个问题，再做互评，最后你来仲裁。它不仅能给你带来多视角的答案，还能训练你判断答案质量的能力。

4.2 上下文窗口爆掉怎么办：RAG和长文本的区别

用着用着，你大概率会遇到一个报错：prompt超长，超过模型的上下文限制。很多人第一反应是“那我买支持更长上下文的模型不就行了”，这个思路表面看没错，但实际工程里，把几十份文档直接塞进上下文，不仅费用暴涨，而且模型会迷失在海量信息里，关键的答案反而找不准。

这里面有个原则：能用检索解决的，不要硬塞上下文。RAG解决的是“从海量文档里找到相关片段再回答”；长上下文模型解决的是“给你一整本书然后回答”。前者定位精准、成本低、可解释性强，后者阅读全局但容易“淹死”在细节里。学习阶段更推荐用RAG，因为你能清楚看到模型引用了哪些文本，方便校验，这也是我把它作为重点项目的原因。

如果你确实需要处理超长文本，我还有一个小经验：可以先让模型分章节做摘要，再把摘要汇总起来做全局问答。这个“摘要金字塔”的方式比直接塞全文更稳健，也不容易触发模型的上下文极限。

4.3 常见API报错：Provider rejected the request schema

学习过程中，你一定会动手写代码调用API，这时候可能会遇到类似“Provider rejected the request schema or tool payload”的报错信息。第一次看到这串英文时我也懵了，连查了好几个文档才明白，其实是请求体里的JSON结构和你调用的模型不匹配。

这类报错大概率是以下几个原因：

• 工具的传入参数类型和模型工具定义里声明的不一致，比如定义里要求字符串，实际传了数组；
• JSON格式本身出错，比如多了一个逗号、少了一个引号；
• 当前模型版本不支持你设置的参数，比如某些模型不支持工具调用，你却强行传了tools字段。

排查顺序是：先检查JSON规范性；再打印出你发送给服务端的完整请求体做对比；最后确认模型文档中声明支持哪些参数和工具类型。如果还解决不了，就把请求中的扩展字段逐步删掉做二分定位。这个过程本身就是一次非常好的工程训练，你会对API的底层设计有更深的理解。

4.4 关于职业选择：AI Coding工程师算不算AI工程师

这个问题在两三年以前，估计不会引来多少人争论，码农就是码农。但现在AI Coding工程师、提示词工程师、人工智能训练师这些新头衔满天飞，很多想入行的人开始纠结自己该朝哪个方向走。

我的看法是，AI Coding工程师本质上仍然是软件工程师，但他的工作对象变成了AI应用，所以可以被视为AI应用方向的一部分；而传统意义上的AI工程师、算法工程师更侧重模型本身的设计、训练、优化、评估。一个在“用模型”，一个在“造模型”。这两种角色都值得做，但学习路径重心不同：AI Coding工程师需要强工程能力、熟练的模型集成能力、RAG和Agent开发经验；算法工程师则需要更深的数学和模型原理功底。

我个人建议刚入门的朋友不要过早把自己锁死在某一个职位名词上。先用LLM把人工智能的整个版图摸一遍，了解模型怎么训练、怎么部署、怎么调优、怎么做应用，然后根据自己的兴趣和现有技能做出选择。“人工智能训练师职业画像”里提到的数据标注、模型评测、效果迭代这些工作，恰好是普通人进入行业比较现实的起点，也是在学习过程中可以顺手积累的能力。

4.5 想拿AI做毕业设计，有哪些靠谱的应用方向

很多学生朋友问过我怎么选人工智能相关的毕业设计课题。先说结论：不要选“做一个通用问答机器人”这类毫无区分度的题目，也不要选“训练一个新大模型”这种根本不切实际的题目。要选的是“把LLM用到具体场景中解决真实问题”的应用方向。

比较稳妥的方向我举几个例子：基于特定领域文档的RAG问答系统，比如医疗、法律、金融、教育；基于LLM的单元测试生成与缺陷检测，这类题目工程落地性很强，也贴近软件工程实际；LLM作为评估器的评测系统，比如对作文自动评分、对客服对话质量自动打分；面向边缘设备的轻量化LLM部署，涉及量化和推理加速；还有利用LLM自动生成数据增强样本的小型科研题目，既容易出实验数据，又不容易撞题。

比如搜索结果里出现过“基于LLM的单元测试”“LLM驱动的公立医院债务风险智能预警”这类关键词，它们本质上都是“LLM加一个垂直业务场景”的组合。做这类题目时要注意两点：一是把业务问题定义清楚，拿到明确的数据来源；二是设计好评测方案，用数据说话，不要只给一个没人验证的演示Demo。能和实际业务结合，又有清晰评估指标的选题，通常更容易通过。

最后说几句实在话

这半年用LLM学习人工智能，我最大的体会不是“模型真聪明”，而是“学习方式被重新定义了”。过去遇到一个不懂的知识点，我得翻书、搜博客、混论坛提问，整个链路又慢又不确定；现在我可以随时找到一个永远在线、永远耐心、能按我的水平调整语气的对话对象，学习效率的提升是数量级的。

当然，我也想说句泼冷水的话：LLM只是工具，它回答得再丝滑，也不能代替你思考。凡是模型给你的话，都要带着验证的态度去对待；凡是模型算不出来的题，都要老老实实回到课本和原始论文里找答案。把LLM当成“助教”，而不是“真理”，这一点想明白，才谈得上真正入门。

最后分享一个我最近很常用的收尾动作。当你觉得今天学不动的时候，把今天学到的内容扔给模型，让它用100字向一个完全不懂AI的人复述，并指出你表达中“术语过多”“逻辑跳跃”的地方。这种压缩和转述的训练，比单纯打卡更能暴露理解漏洞。用LLM学习人工智能，关键不在于你看了多少资料，而在于你改变了自己的学习姿态——从被动接收，变成主动对话、主动质疑、主动输出。