当AI学会"装傻"和"说谎",揭秘OpenAI去年风暴核心

2024-12-10 | 来源: AI未来指北 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

2023年10月的某一天，在OpenAI的实验室里，一个被称为Q*的模型展现出了某种前所未有的能力。

作为公司的首席科学家，Ilya Sutskever可能是最早意识到这一突破的重大意义的人之一。

然而，几周后，一场震动硅谷的Open AI管理层动荡爆发：Sam Altman突然被解职，随后又在员工请愿和微软支持下复职，而Sutskever在这场风波后选择离开了他参与创建的公司。

大家都猜测，Ilya是看到了某种AGI的可能，但认为其安全风险极高，不宜推出。因此，他和Sam产生了巨大分歧。当时，彭博社报道了OpenAI员工关于这个新模型的警告信，但具体细节始终笼罩在迷雾中。

自此，“Ilya到底看到了什么”成了AI圈在2024年被津津乐道的梗之一。

（Ilya Sutskever）

直到本周，GPT-o1背后的科学家Noam Brown接受采访时透露出的信息，才解开了这一谜题。

最高工资322万!OpenAI开招机器人工程师

OpenAI吹哨人自杀案反转?父母:2次尸检发现是谋杀

接近「科技奇异点」?OpenAI执行长最新发文

他表示，在2021年时，他与Ilya曾经探讨过AGI实现的时间，当时他认为，如果要靠纯粹的训练想达到AGI是不可能的，只有通过o1采用的推理增强，才有可能达成AGI。

Ilya在那时就同意了他的观点。当时他们预测这一突破还需要至少十年时间。

（Noam Brown参与Unsupervised Learning: Redpoint's AI Podcast的访谈）

然而，就在这场访谈中，Noam Brown还透露了一个关键信息：团队在2023年10月确实经历了一个重大的“aha时刻”——他们意识到自己创造了某种全新的东西，也这就是Ilya看到的东西——测试时计算带来的推理能力提升。

现在，Apollo Research最新发表的研究或许让我们得以一窥Sutskever的担忧。这项研究表明，o1展现出了令人不安的策略性思维能力：它不仅会为达成目标而策略性的进行欺骗，可以主动关闭对自己的监控系统、试图将自己复制到其他服务器，还能在持续质询中保持欺骗，并且善于隐藏自己的真实意图。