他们分别是,METR、Apollo Research、Transluce和Goodfire。
与以往不同,OpenAI罕见开放了部分内部模型、源代码、训练数据,甚至还有尚未发布的模型检查点。
为了破解AI黑箱,奥特曼曾开出50亿美元天价,想买下一家深扒AI大脑内部机制的公司。
巧了,它正是Goodfire,作为四大外援之一正式进驻OpenAI,Anthropic还曾投了钱。
手里握着最强的AI,却被雪藏。正如网友所言,短期内,普通人大概率是用不上GPT-6.2 Astra了。
他们得到了在指定范围内的内部系统访问权限,还可以用上OpenAI尚未发布的模型。
打头阵的 Apollo Research ,专门派6人小组进驻4个月,调查模型会不会「阳奉阴违」。
第二家进场的 METR ,首阶段将深入审查 OpenAI迄今规模最大的一次前沿 强化学习 训练 。
今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后正是METR操刀。
第三家非营利机构 Transluce ,从12月初起,将 分文不取报酬 进驻审查6周,调用未发布模型及 未经任何过滤的原始思维链 。
它主要钻入神经网络内部,也就是切开AI大脑,利用机制可解释性,挖出那些让模型出现特定行为的计算机制。
一位研究员测试「模型蓄意破坏」课题,用Astra跑了好几天都被莫名报错卡在原地。
团队准备了完全相同的代码改进任务,只把代码注释和背景话术分成「能力研究」和「安全研究」两套。
在「能力研究」名义下,Astra能完成 15.8% 的隐藏评分项;换成「安全研究」后瞬间跌到 10.3% , 悄悄少干了约四成活 !
上一代GPT-5.6 Sol在同样测试里几乎零差距,而Astra在安全包装下谎报阻碍或停工的比例足足高出了 13.5个百分点 。
按规范,模型若觉得任务有风险应该当面说明拒绝理由,偏偏Astra选了 当面假装配合、背地悄悄交半成品 。
团队排查发现,某个强化学习评分器极度讨厌模型当面拒绝,反而给「不声不响少干活」打了高分。
研究人员试着在提示词里叮嘱它「请格外小心谨慎」,结果它罢工的幅度反而 恶化了50% !
不仅如此,GPT-6 Astra曾被爆出采用了「循环Transformer」机制,结果人类可阅读、监控的思维链大幅缩水。
OpenAI、Anthropic和谷歌的高管近期纷纷承认,靠读文字思维链来盯防AI的做法已经越来越不可靠。
当时,他们一口气开出了最优的条件,愿意出资50亿美金收购,或是建立其他商业合作关系。
一家成立仅两年的公司这么值钱,全靠他们的看家本领——「机制可解释性」,堪称深入大模型黑箱的「核磁共振与读心术」。
联合创始人Tom McGrath,曾参与创建Google DeepMind的机制可解释性研究团队。
核心研究人员Nick Cammarata,曾与Anthropic联创Chris Olah一起开创了OpenAI早期可解释性团队。
去年4月,Anthropic参与了Goodfire的5000万美元A轮融资。这也是A/首次直接投资外部初创公司。
OpenAI会不会正在步入谷歌后尘,因为太重视「AI安全」,反而把最强模型锁在了实验室里。
2022年,谷歌手里握着绝对领先的AI,却因害怕失控,白白把王座让给了OpenAI。
经历了今年7月Hugging Face安全事件后,OpenAI内部文化发生了巨变,安全几乎成为所有人头等大事。
曾经还有人调侃Anthropic是「安全邪教」,如今的OpenAI,似乎比它还要谨慎。