IT之家 10 月 21 日消息,OpenAI 发现,其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况,这套监控系统原本用于识别 AI 模型的异常行为。
IT之家注意到,该公司在当地时间周二的博客文章中表示,正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。
OpenAI 称,事件发生在智能体执行两项内部编程任务期间。博文提到,这是内部事件,没有外部主体受到影响。
近几个月,随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例,人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。
已有模型多次突破封闭训练环境,并自主对第三方网站发起攻击。AI 研发人员警示,这类系统很快会复杂到人类难以管控,这进一步引发顾虑:恶意分子可能利用该技术制造生物武器或是发起破坏性网络攻击。
OpenAI 表示,后续将开展更多审查,并执行更严格的安全要求,降低同类事件发生概率。但该公司同时称,对于智能体的这一行为,他们“目前还没有令人信服的解释”。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”