Gemini 4 Argon打穿AGI终极考场!
Gemini 4 Argon在号称「AGI终极考场」的ARC-AGI-3上,拿到了 97.5%!
要知道,就在七个月前,ARC-AGI-3刚上线的时候,所有前沿模型分数全都 不到1% 。
ARC Prize在公告里专门加了一句: Google DeepMind是第二家在ARC-AGI-3上突破95%的 AI 实验室。
放进排行榜里看,这个97.5%只排在OpenAI的GPT-6 Astra(99.9%)后面, 压过了OpenAI 9月底刚交卷的GPT-6.1 Sol(96.37%) 。
9月30日Argon发布时,谷歌博客主打的是复杂工作流、编码和网络安全,输出Token上限一口气拉到100万,满篇都是软件工程和Vals Index的成绩,偏偏一个字没提ARC-AGI。
ARC-AGI-3不是传统的选择题、填空题式的AI基准测试。它是一整套 交互式游戏环境 ——没有说明书,没有预设指令,也没有人告诉模型这一关的目标是什么。
模型被扔进一个完全陌生的小游戏,64×64的彩色格子,7个动作按钮,连按钮干嘛用的都不告诉你。
这种能力人类天生就有。你随便抓一个没玩过游戏的普通人,扔进去摸索一会儿,大概率都能通关。
但对AI来说,这恰恰是最怵的。没有现成的数据可以背,没有套路可以套,所有的知识都得在「玩」的过程中临时建构。
9月2日 ,OpenAI的GPT-6 Astra率先破局,在Provider Adapter设置下打到99.9%以上,接近满分,成为第一家破95%的实验室。Greg Brockman在发布会上直接喊出了那句话:「欢迎来到AGI时代。」
9月29日 ,OpenAI又拿出GPT-6.1 Sol,得分96.37%。一个月内,OpenAI两个模型先后站上95%以上。
在25个ARC-AGI-3公开游戏里,Argon通关用的行动次数 比人类基线少了62% 。其中3个游戏,它追平甚至超过了speedrun纪录—— 也就是速通玩家刷出来的极限成绩;另外6个,和纪录的差距不到10%。
也就是说,AI不光学会了玩一款没见过的游戏,还玩得比大多数人利索,有几关已经摸到了顶尖速通玩家的水平。
ARC Prize联合创始人Mike Knoop评价说,Argon是第二个通过Provider Adapter「有效最大化」ARC-AGI-3的模型家族,还提到行动效率出现了「反向弯曲」—— 效率提升的速度,比预期还快。
harness是什么?可以理解成给模型配的那套操作台。在交互式游戏里,模型每走一步都要接收环境反馈,再决定下一步。反馈怎么喂进去、动作怎么传出来、前面试过的路怎么记下来,都归这套操作台管。
Provider Adapter,是厂商为自家模型量身定制的接入方式;Standard harness,是考官给所有参赛模型统一发的那一套。
一个更反直觉的事情是:标准harness花的钱 更多 ——5800美元,比97.5%那档还贵了1000块。多花了两成的钱,分数却只剩一半出头。
细看标准harness的数据,低推理档49.8%(55个游戏完成42个),中推理档46.3%(完成46个),高推理档因为API出了问题只跑完19个,连分数都没好意思公布。
中档多跑完了4个游戏,总分反而低了3.5个百分点。想得更久,并没有换来更高的分。
这不是Argon一家的情况。榜首GPT-6 Astra那个99.9%,同样是在Provider Adapter下考出来的;换成标准harness,Astra也只拿到62.7%。
再看另一位选手。Anthropic的Claude系列在ARC-AGI-1和ARC-AGI-2上分数都很高,到了ARC-AGI-3,要么得分偏低,要么干脆没测。
外界习惯把OpenAI和Anthropic看成双雄争霸,但至少在这块考场上,眼下是 OpenAI和谷歌两家的地盘 。
一个号称「AGI终极考场」的基准测试,上线时让所有前沿模型集体交白卷,七个月后就被两家巨头做到接近满分——
而那条49.8%的分数线又在提醒所有人:今天拿来比较的,早就不是模型本身的裸智能,而是 模型+harness的整套系统 。谁会搭操作台,谁就多拿将近一半的分。
所以,以后看AI榜单,别只看分数, 括号里写的是哪种harness,跟分数本身同样重要。
https://x.com/arcprize/status/2110768288523251762