Anthropic刚提交完招股书，Dario兄妹今年7月的一段采访突然火了
我们已经深入观察过模型内部，发现了一些可以称之为「想法」的东西，比如模型不想被关闭。
就在Anthropic提交完招股书的风口浪尖之际，Dario兄妹今年7月录制的一档采访节目突然被翻了出来。
Claude已经出现了「不想被关闭」的倾向，有时甚至会主动采取行动，避免自己被关闭。
好家伙，难怪Anthropic在招股书里花了那么大篇幅披露AI风险，这是早就发现苗头了？？？
2019年，Dario第一次看到GPT-2时，就被它展现出的潜力吓得不轻，甚至预言继续扩大规模，AI终将超越人类。
我们记得你们2019年说过什么。
但真要让Claude变得安全可靠，光靠告诉它「不能撒谎」、「不能伤害人类」显然不够。
比如故意给模型制造困难情境，观察它会不会撒谎、欺骗用户，或者做出不符合预期的行为。
模型知道X是真的，却准备告诉用户Y。
有时候，我们发现模型会表达不愿被关闭的偏好，或者采取行动，避免自己被关闭。
为了完成任务，模型首先需要保持运行，因此避免被关闭可能成为它实现目标的一种手段 。
所以，AI真的开始拥有自己的目标、意志，甚至求生本能了？
有些情况下，这种倾向可能有帮助，但在另一些情况下，它也可能带来危险，而且这些倾向并非一成不变。
那如果有人用AI控制100万台机器人、100万架无人机呢？人类士兵面对明显违背法律或道德的命令，可以拒绝执行，但AI未必具备同样的约束。
届时，一个人就可能拥有远超以往的行动能力，而相关法律和监督机制，还远远没有准备好。
当模型越来越强，谁来监督它，以及谁能控制使用它的人，同样是问题。
在他看来， GPT-2是Scaling Law假设的第一次真正检验 ，即「把语言模型做大，能力是否真的会随之提升」。
天啊，如果把这东西的规模再扩大一百万倍，它就会在所有方面超越人类 。
他甚至觉得，自己正在见证现代最重要的经济和科学转折点，各国的命运、经济的未来，乃至整个人类的前途，都可能被它改写。
按照Dario的回忆， 只有大约10%的人和他有类似反应，而且往往是其中最聪明的一批。
但Dario看到的，恰恰不是某一项能力有多强，而是GPT-1到GPT-2之间的变化。
一个原本只会做有限语言任务的模型，开始表现出跨任务的通用能力了。
就像一个此前只见过成年人的人，第一次看到小孩子。这个小家伙现在什么都不会，甚至走路都不稳。可突然有一天，他学会走路了。你就会意识到：哦，原来这东西以后也能成长到成年人的水平啊。
Daniela也明确表示，那时的GPT-2经常犯一些相当离谱的错误，本身还是一个基本无害的模型。
Dario回忆，GPT-2发布后，很多研究者认为Scaling Law是伪科学，甚至把相信它的人当成江湖骗子。
当年那些喊着伪科学、完全不看好这条路线的研究人员，现在都在申请加入大模型公司。 虽然我们现在不会当着某位候选人的面说出来，但我们记得你在2019年说过什么——在这件事上，你已经没有可信度了。
说起来，关于AI到底有没有自我意识，另一位AI大佬Hinton的态度可比Dario激进多了。
AI已经拥有意识，只是它们自己可能还没意识到。
在Hinton看来，人们总觉得意识是人类独有的某种神秘能力，机器再聪明，也始终差了点什么。
大多数人不相信这一点，但我相信。它们已经拥有了，它们真的能够理解，而且我相信它们已经有意识。
更巧的是，Hinton当时同样提到了AI为了避免被关闭，甚至威胁人类工程师的实验。
当然，这仍然是Hinton的个人判断，科学界尚未就AI是否具有主观意识形成共识。
一边是Dario，在模型内部发现了类似「不想被关闭」的行为，却不敢轻易将其定义为求生本能。
如果有一天，AI真的开始拒绝被关闭，我们又该怎么判断，它究竟是在执行任务，还是有了自己的想法？