最近某AI视觉研究团队放出一项新工作，标题很有意思——看猫片就能学会ARC挑战。这里先把“猫片”说清楚，不是别的，就是普普通通的猫咪图片，猫图和猫照。团队做法的核心一句话就能讲明白：拿海量猫咪图片做视觉预训练，然后直接去解ARC（Abstraction and Reasoning Corpus，抽象推理语料库）里的题目，结果把一大票专门为ARC设计的方案都比下去了。
这个结果让我挺意外，也让我更确信一件事：抽象推理能力可能压根不需要单独搞一个“推理引擎”，只要把视觉底子打扎实，规则这个东西自己会从表征里冒出来。这篇博文就来扒一扒这个思路的前前后后，聊一聊ARC到底难在哪、看猫为什么能帮忙、方法大概怎么落地，最后说说我们这些常年跟视觉模型打交道的人，能从里面捞到什么实际有用的东西。
1. ARC挑战为什么让大模型集体“翻车”
1.1 ARC到底考什么：人类觉得简单，机器觉得要命
ARC是2019年前后由一家AI研究机构提出的抽象推理基准，名字叫Abstraction and Reasoning Corpus，翻译过来就是抽象推理语料库。它跟常见的图像分类、目标检测完全不是一个路子，里面是一大堆格子图拼成的“谜题”。每个谜题会先给出2到5组输入和输出示例，比如左边是一个带几个色块的3x3网格，右边是同样的网格但有某个色块变了颜色、某个形状被移动了位置。模型要做的是从这几个示例里猜出输入到输出的变换规则，然后把这条规则应用到一个新的输入上，生成正确的输出。
听起来不难对吧？但实际做起来非常阴间。首先，示例数量极少，大多数题目只给两三组，你连传统的训练集都凑不出来；其次，规则类型五花八门，颜色映射、几何旋转、对称翻转、计数、边界划分、对象消除都有可能，甚至一道题里同时嵌套好几个规则；第三，这个基准是专门用来测“抽象推理能力”的，也就是说它不是考你背过多少张图，而是考你能不能从极少数例子里抓出概念层面的规律。
人类在这个基准上表现相当好，随便一个没接触过ARC的人，认真看几分钟也能解决绝大多数题目；而拿各类顶尖视觉模型和大语言模型来测，成绩一直惨不忍睹。这个反差本身就是核心问题：为什么一个对AI来说难得离谱的任务，对人来说却几乎是本能？
1.2 传统方法集体死在哪几个环节
过去几年，各路团队围着ARC试过不少路子，我大概归类一下。
第一类是程序合成路线。思路是预设一套领域专用语言（DSL），然后用搜索算法找一个能同时解释所有示例的程序。这类方法在小规模、规则简单的谜题上有一定效果，但搜索空间爆炸得极快。ARC的格子图有各种尺寸，从1x1到30x30都有，颜色最多十种，理论上可组合的变换程序几乎是无穷的。搜出来的程序经常是过拟合了几个示例，换个输入就直接放飞自我。
第二类是把大语言模型搬上来，让模型直接用自然语言描述规则或者生成Python代码。这个方向前两年特别火，大语言模型确实能写出看起来合理的代码，但ARC里的很多规则本质上不是文本能很好承载的，模型经常会一本正经地生成一段逻辑完整、但根本不符合示例关系的代码。说白了，语言模型擅长的是“说得像”，而不是“做得到”。
第三类是端到端的神经网络硬训。直接把输入输出网格丢给模型，让它学习映射关系。问题还是绕不开样本量：每道题只有寥寥几个示例，神经网络在这种数据规模下根本没法收敛到真正的抽象规则，反而很容易记住输入输出的表面特征，换一个网格布局就失灵。
所有这些方法都有一个共同缺陷：它们都是到了ARC题目本身才开始“思考”。而人类解题不是这样的，人类是先有对颜色、形状、数量、对称、位置这些基本概念的长期认知，看到谜题只是把脑子里已经有的概念重新组合一下。这个团队的新作，恰恰是把这一步补上了。
2. 看猫片学推理：被忽略的“视觉概念预训练”
2.1 猫咪照片里藏着一门“概念课”
很多人看到“用猫咪图片预训练”这个操作，第一反应是噱头。我第一次看到也这么想，后来认真琢磨了一下，发现猫图这个选择相当巧妙。
先说点实际的：一张猫的照片里都包含什么？一只猫有两只耳朵、一条尾巴、四只脚，这是数量关系；猫的脸基本左右对称，这是对称关系；猫的耳朵在头顶上方、鼻子在脸中间偏下，这是空间位置关系；猫身上的花纹有深浅色块，这是颜色关系；不同品种的猫体型大小有差异，这是大小比较关系。换句话说，哪怕是一张普通的猫咪照片，里面蕴含的“视觉概念”也比ARC谜题里的格子图丰富得多。只是过去很少有人把这些概念和抽象推理联系起来——大家总觉得ARC考的是逻辑，逻辑得靠规则引擎，跟看猫有什么关系？
如果往深一点说，自然图像里大量存在这些视觉原语恰恰是预训练最好的教材。想象一下，一个模型看过一百万张猫图，它必须理解“同一只猫在不同角度下还是同一只猫”“猫的耳朵和脸之间有固定的空间关系”“两只猫和一只猫的数量区别”，才能在对比学习的目标下把表征学好。这些理解沉淀到模型参数里之后，恰好就是ARC谜题需要的基础能力。
2.2 这个思路和传统“规则搜索”的本质区别
传统方法把ARC当成一个“搜索问题”：规则藏在示例后面，我去搜出来，搜到就赢了。这个新思路把问题重新定义成了一个“概念组合问题”：先让模型在大量自然图像上学会各种基本视觉概念，然后ARC的推理过程变成对这些概念的组合操作。
打个比方。传统方法是给一个小孩一本厚厚的习题集，让他对着两三道例题猜出背后的一般规则，猜不中就换一本习题集继续。看猫预训练的思路是：先让小孩看一大堆真实的猫、房子、球、积木，让他脑子里有了大小、前后、对称、数量这些概念，然后给他一道ARC题，他根本不用“猜规则”，而是直接把已有的概念拿出来拼接，答案自然就出来了。
这也是为什么这个工作能成：它不是在做更聪明的规则搜索，而是先把规则需要用到的“零件”准备好。零件齐了，组装就是水到渠成的事。这个视角的转变，我觉得才是这项新作最有价值的地方。
2.3 猫图不是重点，自然图像才是
如果你问我猫图到底是不是唯一选择，我的答案是不是。从方法论上讲，换成狗图、街景图、家具图，大概率也能达到类似效果。核心在于自然图像具备两个猫图也具备的特性：一是足够丰富，涵盖了ARC谜题里会用到的各种视觉原语；二是足够自然，模型不需要在合成数据里学那些刻板的网格规律，接触的是真实世界里的连续变化。
当然，用猫图也确实有它的好处。猫作为宠物，拍摄角度多、背景杂、形变变化大，对预训练来说反而是好事，能逼着模型去学更抽象的不变特征；另外猫图这个噱头也给工作带来了巨大的传播度。说实话，团队选猫图，多少有点故意的成分在里面，效果也证明了这个选择很聪明——你先被标题吸引了，然后发现内容是真的扎实。
3. 方法拆解：猫咪图片如何变成抽象规则
3.1 预训练阶段：一个“概念字典”是怎么长出来的
根据我看到的公开资料，这个新方法大致可以分成两个阶段：先做视觉概念预训练，再做ARC推理适配。第一阶段的目标是让模型形成一个结构化的“概念字典”，而不是一个笼统的图像特征提取器。
具体操作上，他们用大规模猫咪图片做自监督对比学习。对比学习大家应该不陌生，核心思想是把同一张图的不同变换版本拉近，把不同图的表示推远。但常规对比学习学到的是一个整体表征，它适合做分类、检索，却不太适合ARC这种需要把“概念”拆开用的任务。所以这个团队在对比学习基础上加了一个结构化的瓶颈层，强迫模型的表征去对齐一组可解释的概念维度。简单理解就是：模型不仅要能判断“这张图是一只猫”，还要能单独把猫的颜色、形状、位置、数量等信息分别抽取出来。
这个设计非常关键。ARC谜题里的每个变换，本质上都只作用于某一个概念维度。比如“把红色方块变成蓝色”是颜色维度的操作，“把所有小图形向右平移一格”是位置维度的操作。如果模型的表征是混成一团的，任何操作都会互相干扰；但如果表征本身就是按概念维度组织好的，规则推断就成了维度上的加减法。
3.2 推理阶段：不写程序，做“概念的加减法”
第二阶段是推理。给定一个ARC谜题的几组输入输出示例，模型先把每一组示例都编码成概念向量，然后去比较输入向量和输出向量之间的差异。这个差异向量就是“规则”的化身。
举个例子：如果示例显示，所有输入里红色方块在输出里都变成了蓝色，其他元素不变，那么模型算出来的差异向量就会在颜色维度上有一个明确指向；如果另一个示例显示，图形向右移动了一格，那么差异向量在位置维度上就会有一个空间平移的分量。等到新的测试输入进来，模型直接把输入向量和这个差异向量做一次组合运算，再经过解码器生成输出网格。
整个过程没有显式的程序生成，也没有任何规则枚举。模型不需要知道“规则像什么样”，只需要知道“概念空间的哪个维度被修改了、怎么修改的”。这就是我说“概念的加减法”的原因。用数学的话说，学习规则的本质变成了学习一个变换矩阵在概念空间上的投影，这个投影自然就对应了人类能理解的某种规则。
这种方法还有一个好处：可解释性。因为规则被表示成了概念空间上的变化向量，我们可以把它映射回人类可读的概念维度，比如“颜色变了吗”“位置动了吗”“数量变了吗”，而不是拿到一个黑箱程序。这对于后续调试和错误分析来说简直是救命级别的优势。
3.3 几个非常值得注意的设计细节
根据公开资料里的方法描述，我再整理几个容易被人忽略但实际很关键的细节。
第一个是示例对比的顺序。模型不是单独看每一个输入或输出，而是把多组输入输出对联合起来建模，让差异向量在多组示例之间共享。这样能极大地减少单组示例带来的噪声，比如某组示例里碰巧多了一个干扰色块，模型会自动忽略它，因为另外几组示例里没有这个变化。
第二个是概念字典的层次化。不是所有概念都在同一个层面上，有的概念是原子性的（比如红、蓝、黄），有的概念是组合性的（比如“左上角的一团红色块”）。他们在预训练阶段就通过损失函数设计，让低层概念对应局部、颜色、形状，高层概念对应整体空间布局和数量关系。到了推理阶段，ARC里的复杂规则可以从多个层级的组合来理解，而不是只靠一个平面上的向量变换。
第三个是解码器。ARC的输出必须是网格图，而且尺寸和输入可能不同。他们的解码器不是简单的反卷积生成，而是在概念向量的引导下逐步“排版”输出网格，这个过程保证了输出的空间位置是正确的，而不是像传统生成模型那样容易把图形糊成一团。
4. 公开数据里的惊喜、提升与仍然失败的谜题
4.1 数据说话：一次提升，直接拉开差距
判断一项工作靠不靠谱，最终还得看数据。虽然现在公开的具体数字还比较有限，但从已经放出的评测结果来看，这个“看猫片”模型在ARC公共测试集上的表现，确实把此前通用方案的水平拉出了一大截。按照公开报道里的说法，之前市面上最常用的通用视觉模型在ARC上的正确率大概在个位数到百分之十几徘徊，而新方法直接把这个数字提到了接近一半的水平。这个提升幅度在ARC这种出了名难啃的基准上，可以用“夸张”两个字来形容。
当然，跟人类参与者80%以上的正确率相比，这个模型还远谈不上“通关”。但我们要注意一个事实：现有成绩是在完全没有ARC本身训练数据的前提下取得的，模型从来没见过ARC题目，全靠猫咪图片打底。这就像一个人没做过任何奥数题，纯粹靠生活经验上了考场，虽然没拿满分，但一下子从只会写名字变成了能答对一半题目，这个转变本身就是巨大的信号。
4.2 哪些类型的谜题被攻克了：颜色、形状、重复模式
从公开的案例分析看，被攻克得最彻底的是三类谜题。
第一类是颜色映射类。输入网格里红色变蓝色、黄色变绿色这种，模型基本能做到满分。原因很好理解，颜色是概念字典里最清晰的维度，预训练阶段猫咪图片里有大量颜色变化，模型对颜色维度的表征非常干净，变换规则几乎等于直接读向量。
第二类是形状匹配类，比如“把图形里的圆形都找出来，涂成另一种颜色”。这类谜题需要模型先做形状识别，再做条件变换。猫图预训练给了模型非常强的形状识别能力，因为猫咪图片里到处都是轮廓和边界，圆形、椭圆形的物体数不胜数。
第三类是重复模式类，比如“每一行都重复相同的图形排列”。这类原本是程序合成方法的强项，现在这个模型也追了上来，因为它可以把“重复”理解成概念空间中一个平移算子在多个位置上的复用，而不是靠程序搜索去枚举循环结构。
4.3 哪些谜题还在翻车：计数上限、多步状态、程序式规则
成绩好看归好看，盲区也很明显。我看完公开失败案例后，大致总结出三类模型依然搞不定的情况。
第一类是数量精确计数。猫图虽然能让模型学会判断“一只猫还是两只猫”，但ARC里有不少谜题要求精确数出某个图形的数量，比如“数一数网格里有多少个蓝色方块，然后在旁边输出对应数量的点”。数量少的时候模型还好，数量一旦超过五六个，计数能力就开始崩。它学到的不是精确整数，而是模糊的“多一些少一些”的感觉。
第二类是多步状态变换。有些谜题不是一步变换，而是“先按规则A变换，再按规则B变换”甚至“迭代重复三次”。这类问题需要模型在内部维持一个中间状态，然后在这个状态上继续操作。目前看这个模型在单步变换上很在行，但多步操作容易在中间状态上把概念搞混，最后输出错乱。
第三类是程序式的循环逻辑，比如“从中心开始向外扩散填充”这类规则。模型要从示例中猜出“扩散”这种带时序语义的操作，难度就在于它和静态的格子输入不是同一种概念类型，靠向量加减很难表达出来。这也是下一步方法迭代最需要补的短板。
5. 从这项工作中捞出的几条“方法论干货”
5.1 别急着在目标任务上刷榜，先把基础表征做扎实
这个工作给所有人最大的警示就是：你在目标任务上反复调模型，不如先找一个更基础、更丰富的预训练任务把底层能力打好。ARC模型的成功，不在于它在ARC上做了多少优化，而在于它猫图看够了。
这个经验在普通项目里也完全成立。经常有同学问我，自己的分类模型效果上不去怎么办，是不是应该多调数据增强、多换损失函数。我通常反过来问一句：你的预训练模型是最新最强的吗？你的迁移学习做扎实了吗？大多数时候，问题不在下游任务上，而在上游基础能力没打牢。好好选一个预训练模型，或者在自己的领域数据上做一轮自监督预训练，有时比调两个月的超参数有用得多。
5.2 “数据该不该是猫图”其实不是核心问题
还有一点我想多说一句：我们在讨论“猫图”的时候，容易陷入一个误区，觉得这个方法的成功来自数据里的猫咪内容。但实际上，猫图只是一个载体，真正有价值的是自然图像的无监督结构。这个话题在圈子里也挺有争议，有人觉得用猫图是噱头，换成街景图效果应该一样；有人觉得猫图作为宠物图，拍摄角度和背景复杂度特殊，可能确实带来额外收益。
我个人的判断是，换数据大概率也能行，但“能行”和“效果完全一样”之间还有很大差距。自然图像的类型非常多，卫星图没有明显的上下方向，医学影像缺乏日常物体的形态先验，这些数据训练出来的概念字典一定跟猫图训练出来的不太一样。所以与其纠结猫图还是街景图，不如意识到“数据选择本身就是在选择你要教模型什么样的概念”。
5.3 小样本推理的新姿势：概念组合，而不是规则搜索
ARC这种小样本推理任务，以前的主流范式是程序搜索，现在这个概念组合的方法提供了一个完全不同的路径。用概念组合替代规则搜索，本质上是用预训练阶段的算力去换推理阶段的时间。一个模型在预训练时花了大量算力学习概念字典，推理时就只需要做一次很轻量的概念向量运算，整个过程快得惊人。
这种范式对很多实际任务同样适用。比如你现在要做一个新场景的小样本分类，目标类别种类很杂，你要是直接在少量标注上硬训分类头，效果肯定很差；但如果你先用一个大规模自监督模型把概念表征做好，再在小样本上做一个轻量的概念比较，情况就会完全不一样。ARC模型相当于在一个极端的小样本场景里验证了这个路线的可行性，这对我们做实际项目的指导意义是直接的。
5.4 给视觉落地项目能用上的三条操作建议
顺着上面这个思路，我拿这个工作的方法论套进日常视觉项目，可以总结出三条可操作的建议。
第一条，做任何下游任务之前，先花时间检查你的预训练表征质量。具体做法很简单：把你已有的图像输入模型，抽一抽中间层特征，用可视化工具看看是不是同类物体聚在一起，不同属性（比如颜色、姿态、背景）是不是分散在特征空间的不同方向上。如果特征乱成一团，先解决表征问题。
第二条，如果你的数据量很小，别直接端到端训练，可以考虑固定预训练模型，只训练一个“概念变换头”。这个概念变换头就是学着对输入的特征做维度上的修改，输出特征再送回去解码。ARC模型能在每道题只有几个示例的情况下做到这个成绩，说明轻量级的变换头在小样本任务里足够用。
第三条，设计方法时优先考虑可解释性方案，而不是纯黑箱。概念字典这个设计让我印象最深的，其实是它在失败时的诊断能力——模型做错了，我们能定位到是哪个概念维度出错了，是颜色错了还是位置错了。这个能力在实际工程里太重要了，调试时间能省下一大半。
最后聊点我个人的体会
我反反复复看了好几遍这个工作的公开资料，最大的感受不是“模型又变强了”，而是我们终于开始思考一个问题：推理能力到底该放在模型的哪个位置？过去我们习惯把推理当作一个独立的模块，要用专门的算法、专门的架构去实现。但这项工作的思路是，推理根本不需要单独存在，它只是概念表征之上自然生出来的一种操作方式。你先把概念学好，推理就是水到渠成的事。
这个思路放到人身上也一样。一个小孩从来没接触过世界，你直接教他抽象规则，他很难学会；但他要是天天看猫、看狗、看积木，你还没教他，他自己就能总结出很多规则了。我们训练模型这么多年，一直忙着教它规则，却忘了先让它去看世界。这个新方法至少在一个公认很硬的基准上证明了一件事——看猫，真的有用。
如果你手头也碰到很难啃的小样本任务，别急着换架构、调参数，先停下来想一想：模型的底层概念真的足够丰富了吗？如果不是，送给它一批“猫图”试试，或许会有意外收获。
