| 广告联系 | 繁体版 | 手机版 | 微信 | 微博 | 搜索:
欢迎您 游客 | 登录 | 免费注册 | 忘记了密码 | 社交账号注册或登录

首页

新闻资讯

论坛

温哥华地产

大温餐馆点评

温哥华汽车

温哥华教育

黄页/二手

旅游

OpenAI塌房!Scaling law原作曝bug 万亿算力白烧


请用微信 扫一扫 扫描上面的二维码,然后点击页面右上角的 ... 图标,然后点击 发送给朋友分享到朋友圈,谢谢!
DeepMind研究员深夜爆料:OpenAI的Scaling Law原始论文竟有致命bug!全球AI白白烧掉万亿算力,GPT-3其实严重「虚胖」。


OpenAI误导了整个AI圈好几年!

过去五年,整个AI行业都被Scaling Law推着往前冲。


奥特曼坚信AGI的底气就来自这条曲线。

现在,有人站出来说:这条曲线,一开始就错了。

不是事后诸葛。说这话的,是当年就在OpenAI做大模型优化的研究员Diogo Almeida。

刚刚,他发出一篇博客,标题冷得发指——《Scaling Laws, Honestly》。

开头一句直接把话说死:最初那版scaling law是错的,因为存在一个bug。



传送门:https://www.completeskeptic.com/p/scaling-laws-honestly


DeepMind那位以扩散模型封神的Sander Dieleman,转头就在推特上把它顶了上去,说这是一段有意思的LLM往事:

原始scaling law因为一个bug而错了,大概率害得业界在一堆「体量过大、训练不足」的模型上,白白烧掉了海量算力。




一个bug,烧掉两年。

当bug被撕开,我们看到的,不仅是算力的黑洞,更是一条被语言本身重塑的、远比想象中更深刻的智能边界。



Scaling Law竟是LLM版「地心说」

2020年,OpenAI给出结论:在固定的算力预算下,你应该优先把模型做大,而不是拿更多数据去喂它。

用公式说,最优参数量正比于算力的0.73次方——参数,是那个更该猛冲的变量。
2     已经有 7 人参与评论了, 我也来说几句吧
上一页123456下一页
注:
  • 新闻来源于其它媒体,内容不代表本站立场!
  • 在此页阅读全文
    猜您喜欢:
    您可能也喜欢:
    共有 7 人参与评论    (其它新闻评论)
    评论1 游客 [辛.香.氏.说] 2026-07-05 11:09
    They are using the worst efficient and laziest ways to build AI ecosystems by pouring huge investments on computing capacities. That was not creative but was making it bigger by piling up high performance chips. Of course, that worked for a while but could not last long. At the end of the day, investments must be paid by revenues with profits. Lots of investments have rushed into AI infrastructures by far but now warning calls become louder than ever for AI sustainability.
    上一页1下一页
    我来说两句:
    评论:
    安全校验码:
    请在此处输入图片中的数字
    The Captcha image
      大家正在围观
    周末大温超市优惠抢先看 扫货指南
    腾格尔现状:嗜酒败家产,丧女,66岁
    大温本周末活动爆棚 超强玩乐攻略
    快捡漏!温村FIFA官方商店清仓大促
    钱再多有什么用?78岁邢质斌晚节不
    温村飞欧洲:5大热门地机票大跳水
    突发!被烟雾呛到!川普威胁加拿大
    Zara爆款"死亡裤" 时尚达人纷摔倒
    老百姓要提前做准备 北京上海出现
    7月温哥华演唱会推荐 这3场值得冲
      同类热门新闻
    贾浅浅再迎两大噩耗,父亲贾平凹的
    吴绮莉直播罕谈成龙,否认曾被要求
    为保体力拖时间 BC两强无缘冠军赛
    女儿数学高分 一话刺痛加国华裔父
    贾浅浅的终南捷径,就是最大化亲爹
    一过73岁 4件事千万别硬做 伤身折
    原来她是陈梦的母亲,曾公开向女儿
    终于有一天,《焦点访谈》变成掀翻
    天才数学家 在知乎上被怼得哑口无
    他1妻9妾32子女 三女儿爆奇葩"值
      随时阅读新闻

    加西网微信

    大温优惠小红书

    温哥华地产中心微信

    Android: 加西网
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西网为北美中文网传媒集团旗下网站

    页面生成: 0.0309 秒 and 6 DB Queries in 0.0017 秒