这三周我做了个挺折腾的小实验:把同一批工作任务,分别交给一个叫 OpenClaw 的开源智能体框架(社区里一类自主执行型 Agent 框架的代号)和实验室新来的研究生 A 同学。不搞特殊优待,也不故意放水,两边拿到的是同一份需求文档。结果不是简单的谁赢了,而是让我把“工具与人到底该怎么分工”这件事彻底想明白了一回。
标题里的“小龙虾”不是白叫的:OpenClaw 这个 Claw 本身就是爪子、钳子的意思,翻译成中文网络梗就是小龙虾的大钳子;而研究生呢,在不少课题组里其实就是承担大量具体杂活和“学术干活的”存在。两边本质上都是帮你处理任务的执行者,都需要你把需求讲清楚,也都需要你复核结果。这篇就围绕这个对比展开,把我实测的数据、翻车的现场、以及现在正在用的分工方法都写出来,给同样纠结“要不要上智能体”的人一个参考。
1. 为什么大家都管它叫“小龙虾”:智能体和研究生的共同点
1.1 从“帮工”到“助手”的定位差异
先说清楚我在这里指的 OpenClaw 是什么。它不是一个具体的商业软件,而是近来社区里流行的一类开源智能体框架的代号:以大语言模型作为推理核心,外部挂上浏览器自动化、代码执行环境、向量检索这些工具,让模型自己规划步骤、调用工具、生成交付物。你可以把它理解成一只装了机械臂的小龙虾——能夹文件、能翻网页、能跑数据,但本身没有“常识”和“责任感”。
研究生 A 同学的情况就比较传统了:理工科背景,会 Python,进实验室刚一个月,处在“什么都愿意干但偶尔需要问方向”的阶段。他的优势是能听懂人话、能感知氛围、能自己纠错,劣势是速度慢、会累、状态有起伏。
这两者放在一起对比,表面看像是“人工智能 vs 人类智商”,其实根本不是同一个维度的东西。更准确地说,它们是两种不同的生产力工具:一个靠算力和规则,一个靠经验和判断。真要判断谁更“好用”,不能笼统问,必须落到具体任务上。
1.2 真正拿来对比的不是智力,是“交付能力”
近几年有个误区,一提到 AI 就喜欢聊“取代人”的宏大叙事。但落到我这种普通从业者手里,最实际的评价指标只有一条:它能不能把一个任务推到可验收的状态?推到这个状态需要多少人工干预?干预不进去的时候,它会怎么失败?
我把这个指标拆成三个方面:
- 完整性:交付物是不是覆盖了全部需求,有没有遗漏关键项;
- 准确性:内容是不是真的正确,而不是看着正确;
- 自主性:从收到需求到交付,中间需要你插手多少次。
这三个维度合起来,就是“交付能力”。后面所有测试结果,我都按这三个维度记录。你会看到,智能体在“自主性”上非常强,但在“准确性”上经常上演翻车现场;研究生则在“完整性”上稳定跑赢,代价是“速度”完全跟不上。
2. 我让双方在10项日常工作上对垒,结果和你预想的不一样
2.1 双方的基础配置:怎么才叫公平对比
为了让这次对比尽量不偏不倚,我特意做了同步准备。
OpenClaw 这边,我给它配好了三类基础工具:代码执行环境,用来跑数据处理脚本;网页检索工具,用来查资料;再就是一个向量库,用来存放项目文档,方便它按需召回。推理部分接的是当前惯用的大模型 API,给它的运行模式也调成了“先列计划、再执行、最后自查”的循环。也就是说,它能像一个实习生那样拆解步骤,而不是上来就写答案。
A 同学这边,我没有让他加班,也没有额外开小灶。只告诉他“这是一批需要交付的活儿,按你正常节奏做,遇到不清楚的可以来问”。两边拿到的是同一份需求说明,唯一差别是:A 同学可以提问,OpenClaw 理论上也可以“问”,但它默认会干到底,不会主动回头核实,除非我在提示词里强制它停下来。
2.2 十项任务结果对比:数据不会说谎
我选了平常课题组最常遇到的十类活,覆盖信息整理、文档写作、数据处理、流程沟通几个大类。表格右边的结果按“谁在更短时间内交付可用结果”来判定,个别任务看质量。
| 任务 | OpenClaw 表现 | A 同学表现 | 胜出 |
|---|---|---|---|
| 30 篇论文摘要整理成中文概要 | 12 分钟,结构完整但有 2 篇主题把握偏了 | 3.5 小时,理解准确 | OpenClaw(时间胜) |
| 20 条 Excel 重复数据清洗规范化 | 不到 1 分钟,规则执行一致 | 40 分钟,无错 | OpenClaw |
| 会议纪要生成一页工作简报 | 5 分钟,逻辑清晰,措辞可用 | 1.5 小时,措辞更自然 | OpenClaw |
| 15 页英文论文初稿翻译 | 20 分钟,但 5 处术语翻译错误 | 6 小时,专业术语准确 | OpenClaw(需要校对) |
| 扫描 PDF 提取联系人表格 | 10 分钟完成,最后核出 8% 字段错位 | 2 小时,人工录入零错 | A 同学 |
| 文献综述并提炼研究空白 | 2 小时,产出流畅但引用有虚构,缺关键进展 | 两个下午,画出脉络图,真的有洞见 | A 同学 |
| 客户模糊需求“做个供应商分析框架” | 输出通用模板,空泛无法直接用 | 追问两次后给出行业针对性框架 | A 同学 |
| 按期刊模板批量改参考文献格式 | 3 分钟,格式 98% 合规 | 1 小时,人工逐条核对 100% | OpenClaw |
| 临时会议改期并协调三个组日程 | 尝试访问内部系统失败后卡死 | 10 分钟电话沟通解决 | A 同学 |
| 生成一周数据报表并附周报说明 | 30 分钟完成大部分,但图表口径搞混一组 | 2 小时,完整可用 | OpenClaw/B同学? |
最后一行实际判定是 OpenClaw 在速度上胜出,但 A 同学在准确性上更稳。整体比分大概是“速度题”OpenClaw 赢得多,“质量题”A 同学赢得干净。
2.3 比分背后的规律:赢面从来不是均匀的
把表格摊开看,规律非常清晰:
OpenClaw 赢的任务,全是“输入输出明确、处理规则可描述、工作量以量取胜”的活。比如清洗数据、改格式、翻译初稿、生成简报,这类任务一旦定义清楚,机器执行的一致性远超人类,而且不会喊累。
A 同学赢的任务,共同点是“目标含糊、需要背景知识、结果有对错之外的判断”。比如文献综述里的研究空白,那不是“格式”问题,而是“理解”问题;客户分析框架,前提是听懂客户的言外之意。
这个结果说明了一件事:当你拿“小龙虾”去和“研究生小龙虾”比,比的不是谁更聪明,而是谁更适合哪类“虾活”。下一段我重点说 OpenClaw 为什么会在一部分任务上输得毫无还手之力——那才是真正有意思的地方。
3. 智能体为什么会一本正经地犯错:藏在机理里的短板
3.1 生成不是检索:幻觉到底从哪里来
我第一次被 OpenClaw 坑,是在文献综述任务上。它无比流畅地给出了 35 条参考文献,期刊名、作者、年份编排得整整齐齐。我没忍住抽查了其中几条,结果发现有三条的“标题”和“期刊”其实来自完全不相关的两篇文章,卷号和页码却是对的——这种错误有多阴险?就是如果你只看格式,它比很多新手还专业;只有逐条溯源,才发现它是把记忆里的碎片拼接了出来。
这背后的机理并不神秘。大模型在生成内容时,本质是逐个预测下一个 token,并把训练时见过的分布“重新组合”出来。它没有一张事实表可以查询,库里存的是一堆概率关系。当某个知识点在训练数据里反复出现,它大概率说对;一旦数据稀疏,它就会用“上下文最像”的片段来填补。这个填补过程流畅到连它自己都意识不到是在编。
所以在实际使用里,凡是“事实准确性是底线”的任务,都不能把智能体的输出直接当作终稿。它的产出更像“初稿天才、校对稀烂”的实习生,你可以让它两小时出结构,但抽查核验这一步永远省不掉。
3.2 上下文窗口:看得见的硬伤
另一个让我印象深刻的翻车,发生在一个长任务的第 8 步。当时我要求它:按给定格式处理一批文件,中间轮次的输出不要改动原始列结构。前 7 步都老老实实,到第 8 步它突然自作主张,把其中两列合并了。原因很简单——它的可用上下文已经不够了,早期的约束条件被“挤出”了注意力范围。
人类也会忘事,但人会把关键约束写在笔记本上、刻在脑回路里。智能体不一样,它每个时间步能“看到”的 token 是固定的,新内容不断涌入,旧信息就会被压缩、稀释甚至丢弃。有些框架会给它加会话摘要,但摘要本身也在丢细节。这就是为什么长周期、多约束、强关联的任务,单靠一个 Agent 裸跑很容易中途跑偏。
我后来给自己定了一条规则:超过 5 个环节的流程,必须拆成多个子任务,每个子任务独立重新注入完整需求,而不是指望它在一条流水线上记住所有东西。这就像你带实习生,不会把一周的事一次性交代完,而是每天重新对齐一次目标。
3.3 模糊指令与隐性需求:智能体的死穴
如果说幻觉是“能力陷阱”,那模糊指令就是“指令陷阱”。我给 OpenClaw 布置过这样一个任务:“把那张表更新一下。”这句话放在人之间是能理解的——因为我们知道是哪张表、在什么背景下更新、更新到什么程度。但机器不会追问,它接收到“更新”指令后,默认执行的是“重排格式 + 补齐内容”,结果把一张原始数据表给“规范化”成了带格式的假表格,字段间的计算关系全给改没了。
人类和智能体处理模糊信息的方式完全不同。人遇到需求不清,会在脑内调用上下文,还会主动反馈;而大模型没有足够的“拒绝机制”,它会在信息缺失的地方自动生成一个默认值。这个默认值常常是格式上最省事的方案,而不是解决问题的最优解。
所以我现在给 OpenClaw 布置任务,一定会写清楚四样东西:背景、目标、输入材料、验收标准。如果连验收标准都写不出来,说明这活本来就不该扔给机器干。这不是提示词的让步,而是对现实运行机制的正确尊重。
4. 成本账其实算不清:比金钱更贵的是隐形成本
4.1 直接支出的对照
很多人一提开源智能体就默认“不要钱”,这完全是个错觉。OpenClaw 这类框架本身是开源的,但跑起来要花钱:推理要调 API,部署要占用 GPU 机时,检索要搭向量库,存储要买云盘,网络带宽更是一笔细水长流。我一个月统计下来,不算开发调试时间,光基础设施和 API 调用费就是一笔看得见的支出。
A 同学这边也有成本:助研津贴、工位、设备、以及我带他所花的时间。这笔钱更高,但换回来的东西更复杂。直接把两边的“时薪”摆在一起其实没有意义,因为智能体的成本是“边际递减”的:同一个流程配置好之后,复制到第二个项目几乎不花钱;研究生的成本是“边际递增”的:项目越深入,需要投入的沟通和培养时间越多。
4.2 隐性收益完全不同:资产沉淀的方向不一样
真正拉开差距的,是成本背后的资产沉淀。
研究生在项目里会成长。他做了一次文献综述,就理解了这个领域;改过一遍项目文档,就熟悉了写作规范;跑通过一次实验,就知道数据链路里哪里容易翻车。这些经验会留在他脑子里,下个项目直接复用,这叫“隐性知识在组织里沉淀”。
OpenClaw 没有这个概念。它每次会话结束,记忆基本清零。今天调好的工作流,明天换个话题它就忘了;这个项目积累的规则,换个场景又要重新配置。虽然可以把配置文件和知识库保存下来,但那只是显性的规则沉淀,丢失的是模型对问题的“手感”。
所以单看短期交付,智能体确实猛;拉长到团队发展的维度,一个愿意成长的研究生带来的回报可能会持续很多年。这也是为什么我在内心始终没有把 A 同学和 OpenClaw 放到“替代”关系里。
4.3 责任与数据安全的隐性雷
还有一笔没法量化但必须算进去的成本:责任归属和数据安全。智能体一旦把内部数据喂给外部 API,信息就有离开你掌控范围的风险;如果它生成的错误结论被当作正式材料交上去,背锅的还是你自己。它不会因为做错了事感到难堪,但你一定会。
研究生出错,你能面对面沟通复盘、建立反馈机制;Agent 出错,你只能靠验收环节把问题拦下来。这也是为什么在数据敏感的环节,我坚持让人来走最后一道关。工具跑得再快,责任还是要人来扛。
5. 把“小龙虾”摆上同一张桌子:一套我目前在用的分工方法
5.1 分流判断:四个问题决定任务去向
经过这一轮实验,我总结了一个简单粗暴的判断规则。接到新任务,先问自己四个问题:
- 目标能用客观标准验收吗?(比如“格式统一”“字段无重复”)
- 成功标准能否写成明确规则?(而不是“做得好”这种感受性描述)
- 允许缺少上下文直接开干吗?(还是必须问明白背景才能动手)
- 出错带来的代价是否可控?(小错误无伤大雅还是致命问题)
我的答案是:前两个“能/能”,第三个“允许”,第四个“可控”这四个条件同时满足,才把任务交给 OpenClaw;只要有一个不满足,优先让人来干,智能体退居辅助位。
不同任务的分配经验,我也整理了一张参考表:
| 任务特点 | 推荐主力 | 推荐辅助 | 说明 |
|---|---|---|---|
| 批量数据清洗 | 智能体 | 人工抽查 | 规则明确,量大 |
| 文献综述提炼洞见 | 人工 | 智能体初筛 | 洞见属于人 |
| 格式化文档生成 | 智能体 | 人工校对 | 省时间 |
| 跨部门沟通协调 | 人工 | 不需要 | 智能体进不了内网 |
| 代码报表常规生成 | 智能体 | 人工验证口径 | 代码跑得快但口径要人定 |
| 复杂方案撰写 | 人工 | 智能体搭框架 | 智能体给骨架,人来给灵魂 |
5.2 一份可复制的“智能体作业模板”
为了让 OpenClaw 稳定输出,我现在所有任务都塞进同一套模板。你直接按这个结构填内容就行:
任务背景:一句话说明这个任务为什么存在,服务于谁。 交付目标:最终交付物是什么,达到什么状态算完成。 输入材料:明确列出原始文件路径、链接、关键词范围,不要让它自己猜。 约束条件:不许做什么、不能改什么、必须保留什么格式。 处理步骤:如果步骤清晰,尽量拆成 1. 2. 3. 四项以内交给它执行。 输出格式:给出模板、表格、标题层级等结构要求。 质量标准:哪些字段必须准确,哪些部分必须完整,几条硬性红线。 验证方式:说明我会抽查哪些位置、核对哪些原始数据。 信息不足时的处理规则:明确要求它回复“信息不足,需要补充”,不许自行填充。这模板没什么玄机,核心就一个目的:压缩智能体自动编造的“默认值空间”。你给的信息越满,它的幻觉空间就越小。
5.3 验收机制:宁可多检查十分钟,不要返工三天
最后聊验收,这是整个流程里最容易被偷懒的部分。很多人看到 Agent 输出格式漂亮就交差了,结果细节全死在小数点和大写缩写里。
我现在固定做四步验收:先扫结构,看交付物是否覆盖了需求里的每个要点;再做交叉验证,拿脚本把输出和原始数据比对一遍;然后人工抽 3 到 5 个关键点回原始材料核对;最后让另一个完全没参与任务的同学通读一遍,专挑“看起来怪但说不清哪里怪”的地方。那个“怪”往往就是幻觉藏身之处。
这个过程看似麻烦,但其实花的只是几分钟。比起让一个有问题的交付物流传到下游、返工三天,这几分钟简直便宜到不行。
结尾:实验结束后,我的最大体会
这一轮跑下来,我最深的感受是:我们太容易把“工具的能力”和“工具的可用性”混为一谈。OpenClaw 在大量“有确定规则”的任务里确实表现出碾压级的效率,但它依然需要一个人来定规则、查结果、背责任。A 同学速度慢、成本高,可他能理解模糊的话,能在项目里沉淀经验,能成为你真正的队友。
所以我现在的做法,既不是“全面拥抱智能体”,也不是“守住人工作业”,而是把两者放上同一张餐桌:让“小龙虾”去处理那些需要钳子效率的工作,让人去处理那些需要脑子和心的工作。每次接活前花半小时把需求写清楚,这个习惯比选什么工具更重要——因为需求清晰的时候,人和机器都能跑得又快又稳;需求模糊的时候,再强的智能体也只能替你“一本正经地胡说八道”。
如果你也在评估要不要上这类工具,我的建议很简单:找一个你们组里最重复、最规则化的任务,用文里那套模板试一周。你会发现自己省下来的时间,远远超过那些看似吓人的部署成本。