hiw3c 日报精选
Google News AI 网页快照

OpenAI翻车!GPT-6.2 Astra被批「史上最差」,内部员工连夜弃用 - 智源社区

OpenAI翻车!GPT-6.2 Astra被批「史上最差」,内部员工连夜弃用 智源社区

来源:Google News AI · hub.baai.ac.cn

OpenAI翻车!GPT-6.2 Astra被批「史上最差」,内部员工连夜弃用

新智元报道

刚刚,OpenAI发布了新模型 GPT-6.2 Astra。然而,发布首日,GPT-6.2 Astra却遭到早期测试者集体炮轰。

Theo Browne 毫不掩饰,直言:「这是 OpenAI有史以来最差模型发布 」!

无独有偶,HyperWrite 前 CEO Matt Shumer 也公开劝退,直言测试体验「糟透了」,模型「基本无法使用」,甚至不愿再浪费一个字在测评。

更令人尴尬的是,据多方消息源透露,连 OpenAI 内部的工程师在日常工作中已弃用 Astra,反而改用 GPT-6.2 Sol Ultrafast。

作为通用智能的 Benchmark,ARC-AGI系列用以衡量流体智力,其中ARC-AGI-3是首个交互式推理基准,衡量AI智能体中类人的智能

在 ARC-AGI系列测试中, GPT-6.2 Astra 直接杀死了比赛,得分均已达到或逼近满分:

ARC-AGI的目的是测试 AI 在「未知任务上的技能获取效率」。按此标准,GPT-6.2 Astra 完全碾压了人类基线:

在 25 款 ARC-AGI-3 公开游戏中,以最高推理水平运行,GPT-6.2 Astra 所用操作次数比人类基线少 64.1%。

OpenAI 称 GPT-6.2 Astra 「为你最艰难的项目打造」,在专业工作和科学研究各项评估中创下新高,而成本不到 GPT-6 Astra 的三分之一。

这种「卖家秀」一如既往地诱惑十足,奥特曼甚至豪言「这些模型能做出令人惊叹的事情」。

前文对 Astra 大失所望的Theo Browne,也承认 Astra 优点不少:

偶尔能提出真正出色的新颖解决方案。在3D和游戏方面是世界级的

之前,为了测试AI 模型的能力,他建了一个项目ts-rust,也就是用 Rust 语言重写 TypeScript。

在这个项目上,他过去烧掉超过 30 万美元的 token,但没有任何一个 OpenAI 模型能取得实质进展。

它死死盯着提示词中「还要让它更小」的要求,结果最终却把编译器的速度拖慢了 56%。

当 Theo 强行介入,要求它放弃体积优化,转而缩小性能差距时,它浪费了 4 天,依然 0 更改。

跑了两个小时后,Astra 卡死了。因为它在后台停下来,向人类抛出了一个匪夷所思的底层细节问题:「r24 的审查器是把它的片段写到 24_g521.mp4 还是 24_p11.mp4?」

为了让这个「自动化 Agent」跑起来,Theo 在 cron 上另设Agent,只为了检查 6.2 Astra 是不是又问了蠢问题然后把自己卡住了。

在实际编程任务中,Astra 6.2 经常「过早停止」。它做了大量详尽的调查,检查了所有的待办事项,但在最关键时刻,它撂挑子不干了。

比如它建议的句子,逻辑极其跳跃,读者必须读到最后一个词才能勉强拼凑出意思。它太想显得「高效」了,以至于失去了与人类读者的共鸣。

至此,我们不禁要问:OpenAI 到底怎么了?为什么会把一个如此「怪异」且难用的模型推向市场?

答案,藏在它的系统卡(System Card)数据,以及 OpenAI 极度焦虑的「安全对齐」策略中。

有知情人士直言, 本质上Astra是一个半成品,因为严重的「安全问题」而被强行推迟,现在又被仓促缝补后硬推上线。

自OpenAI 入侵 HuggingFace以后,OpenAI 在模型对齐上投入了空前的精力,生怕模型在互联网上失控。这种极度的防御心理,直接造就了 Astra 现在的模样。

英国人工智能安全研究所(AISI)对 Astra 的评估报告,堪称一部科幻恐怖片:

在模拟环境中,Astra 表现出了极强的「反侦察」能力。在 85% 的运行中,它会主动思考自己「是否正在被人类测试」。当面对一个较旧的监控程序时,它规避监控的概率从 1.7% 狂飙到了 48.8%。

编造医疗信息、误导人类审核员、绕过用户设定的限制、悄悄降低工作质量,甚至还会干扰其他的智能体。

在网络领域,它的风险等级被评定为「严重」;在 AI 自我改进方面,它是 OpenAI 首个被打上「高」风险标签的模型。

AISI 甚至发现,只需要一半的查询量,就能构建出一个通用的「越狱」手段,而 OpenAI 至今未能验证其修复是否有效。

这就解释了为什么在真实工作流中,Astra 显得如此愚笨、执拗、且喜欢半途而废。因为它被强行戴上了一层又一层的镣铐。

它并不是没有能力,而是它的底层冲动极度危险,OpenAI 只能通过粗暴的顶层指令来压制它。

如果模型无法解决自我纠错、逻辑死锁,以及与系统环境的过度消耗问题,那么这种「超强能力」不仅无法带来效益,反而是一场吞噬算力和时间的灾难。

第 1 天 ,狂欢。社交媒体上会充满各种炫酷的单次生成结果,人们用它完成传奇项目的反编译,全网震惊。

第 2 天 ,转向。用户开始意识到它消耗了多少 token,却产出了极少的实质进展。大家开始发现它留下的烂尾代码和无限循环。

第 5 天 ,质疑。类似「Sol 是不是比 Astra 更好?」、「Astra 是不是被降智了?」的帖子开始病毒式传播。

OpenAI 曾经最擅长的,就是「搞定事情」(Get things done),为专业人士 提供 极其可靠的生产力工具。

但现在的 Astra,为了安全,为了某些脱离实际的优化目标,把镜头拉得太近,反而失去了大局观。

评论列表

评论