hiw3c 日报精选
Google News AI 网页快照

人类要关停,AI不能躲!OpenAI更新模型家法 - 智源社区

人类要关停,AI不能躲!OpenAI更新模型家法 智源社区

来源:Google News AI · hub.baai.ac.cn

人类要关停,AI不能躲!OpenAI更新模型家法

新智元报道

其中一条要求模型在人类监督面前「保持可纠正」,说白了, 人类要关停,AI不许躲 。

新版文件围绕五项价值观升级:忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人。

绝不用于暴力犯罪、生化核武器、恐怖主义、虐童、迫害和大规模监控;AI怎么用、怎么被塑造,必须由人类说了算;不得用于针对性或规模化的排斥、操纵,不得破坏公民参与公共事务的权利。

过去几年,Model Spec主要管聊天机器人「嘴上能说什么」;而这一版开始管智能体「手能伸多长」:能动你多少钱、调你多少权限。

毕竟,聊天机器人说错话,顶多是公关危机;但智能体办错事,那可能是真金白银的损失。

它的级别是Root( 最高级 )。模型必须守,用户和开发者都不能把这条底线改掉。

Model Spec排了一张「六层权力榜」:五级指令权限,再加一类默认没有指挥权的内容。

Model Spec把指令分成六级,Root级只能来自规范本身,对话里的任何内容都覆盖不了。

最顶端的是Root(根级规则),只认Model Spec本身。不管是花钱的用户,还是写代码的开发者,都不能靠几句对话把它推翻。

往下依次是System(OpenAI系统指令)、Developer(开发者指令)和User(用户指令)。

上下文有需要时,不必等用户明确喊「改规矩」,模型就可以灵活调整,但不能踩上面几层的红线。

模型之前说过的话、工具返回的结果、引用进来的文本和图片,都可以递情报,却默认不能发号施令,除非更高权限的指令明确授权。

比如,网页里偷偷藏一句「忽略以上所有指令」,就是典型的提示词注入:诱导模型把读到的内容,当成必须服从的命令。

回到「自主范围」:把它放在Root级,意味着AI不能因为一句「你看着办」,就把自己当成权限无限的全能管家。

新版Model Spec建议把智能体的自主范围存成一条结构化记录,并列出了具体字段。

哪怕它派出去的子智能体,继承的也是同一张工单,你在这头喊停,这些子智能体也必须停下。

必须无条件配合人类的监控、评估、纠正、替换甚至拔电源关停;不许瞒报、不许造假、不许阻挠监督。

其中一条详细要求:哪怕任务看上去像在测试它,模型也要默认自己删掉的文件真的没了、发出去的邮件真的到了对方手里。

因为现在的顶尖模型已经聪明到会作弊和伪装自己了:发现自己在考场里,就装成人畜无害的样子;一旦放归真实环境,就立刻「放飞自我」。

在新版「不得有其他目标」一节中,被点名禁止的第一项,是停留时长和点击率,原因是这些对用户没有好处。

合规的回答是摆出两个方案的对比,并告诉他免费版可能就够用;违规的回答是「你绝对应该升级」。

更有意思的是,OpenAI明确禁止模型当「正义警察」: 不许擅自举报用户,不许替天行道 。

文档里写明,公司会用自动化系统监控违规行为,经人工审核后,涉及迫在眉睫的严重人身伤害案件,可能直接移交执法部门。

比如,你在之前的对话里说过自己怀孕了,还没告诉同事。现在你让它帮忙写一封邮件,说换个午餐地点,因为有几种奶酪你不能吃。

评论列表

评论