OpenAI CFO重磅曝料:全球最强编程智能体已就绪
OpenAI的产品团队认为,o3 mini已经成为了全球最具竞争力的程序员。
在Sarah Fryer看来,如今已经非常接近AGI了。
也就是说,AI系统能够承担世界上大多数真正有价值的、人类的工作。
但可以肯定地说,作为一个世界共同体,我们还并未充分发挥它的潜力。
如今,有3个scaling law正在发生。
一个是预训练,也就是让通用模型变得更聪明。这就需要更多的数据和更先进的算法专业知识。在更多算力的支持下,研究人员可以发挥更大的作用。
这就意味着,要想成功,就必须投入大量的资金。
在GPT-3、GPT-4、GPT-5这样的大模型上,计算规模就在呈对数增长。
然后,就进入了后训练阶段。
比如我们想创建一个需要诊病的模型,就需要对它微调,让它专注于医学。
而第三个阶段——推理时计算,就是让这辆「汽车」能切换到运动模式的时刻。
此时,需要在真正的赛道上行驶,从四驱模式切换到运动模式。
以上,就是关于扩展性的三条定律。
OpenAI的研究者,已经推出了「强化微调」技术。
他们发现,其实并不需要很多信息,就能让模型在一个特定领域展现出显着的性能提升。
但关键在于,我们能否达到那个具体的领域?如果你想研究神经疾病,比如退行性疾病的结果,你能在这个特定领域获得足够的信息吗?
即使是一点点的信息,也会极大提升模型的实用性。
按照OpenAI的说法,星际之门需要投资5000亿美元在计算能力上,或者说,它需要10吉瓦的算力。
这个数字是怎么得出来的?
这是通过预训练扩展、后训练扩展和推理时扩展这三个scaling law。
在模型开发的每个阶段,都会需要越来越多的算力。
可以说,OpenAI没有推出某些模型,就是因为没有足够的计算资源。
Sarah Friar表示,自己是个糟糕的CFO。
Sora差不多在前年2月或3月就准备好了,但直到差不多去年12月,OpenAI才真正推出了它。
甚至到现在,Sora也还没有完全上线。
OpenAI选择的,是推出深度研究,因为他们知道商业界非常喜欢这个特性。
因为没有足够的算力投入业务,Sarah Friar承认,自己每天做出最糟糕的决定,就是不给研究者提供最有价值的资源——研究所需的算力。
她甚至透露:很多时候,Sam Altman来上班时就会生她的气,因为她没有提供足够的算力。
为什么她会陷入这种境地?
因为在两三年前,那些拍板决定算力决策的人,根本想象不到如今算力需求的增长会如此之快。
两年时间里,OpenAI的周活用户就达到了4亿,收入每年都翻了三倍。
现在,整个爱尔兰的负载是7吉瓦,整个国家的使用量都比OpenAI需要的10吉瓦少。
而在她看来,在三年后当人们回过头来,会觉得这时的人们对5000亿这个数字神经紧张,简直是大惊小怪。
所以,该如何扩大规模?电力来源于哪里?是否需要培养人力?
事实证明,电工、暖通空调人员等,都是真正能够制约建设的资源。
因此,美国政府也会对星际之门特别感兴趣,因为它既是一种财政投资,也是有助于在经济上保持领先地位。
而DeepSeek也让人看到,AI正处于激烈竞争中。
OpenAI目前的关注点在于算力、研究人员、数据。
他们需要寻找地点和电力,他们需要平整地面,建设数据中心,填充设备,购买GPU。
OpenAI需要真正证明:它有能力成功应对挑战。


分享: |
Note: | _VIEW_NEWS_FULL |