| 广告联系 | 繁体版 | 手机版 | 微信 | 微博 | 搜索:
欢迎您 游客 | 登录 | 免费注册 | 忘记了密码 | 社交账号注册或登录

首页

新闻资讯

论坛

温哥华地产

大温餐馆点评

温哥华汽车

温哥华教育

黄页/二手

旅游

OpenAI塌房!Scaling law原作曝bug 万亿算力白烧


请用微信 扫一扫 扫描上面的二维码,然后点击页面右上角的 ... 图标,然后点击 发送给朋友分享到朋友圈,谢谢!
DeepMind研究员深夜爆料:OpenAI的Scaling Law原始论文竟有致命bug!全球AI白白烧掉万亿算力,GPT-3其实严重「虚胖」。


OpenAI误导了整个AI圈好几年!

过去五年,整个AI行业都被Scaling Law推着往前冲。


奥特曼坚信AGI的底气就来自这条曲线。

现在,有人站出来说:这条曲线,一开始就错了。

不是事后诸葛。说这话的,是当年就在OpenAI做大模型优化的研究员Diogo Almeida。

刚刚,他发出一篇博客,标题冷得发指——《Scaling Laws, Honestly》。

开头一句直接把话说死:最初那版scaling law是错的,因为存在一个bug。



传送门:https://www.completeskeptic.com/p/scaling-laws-honestly


DeepMind那位以扩散模型封神的Sander Dieleman,转头就在推特上把它顶了上去,说这是一段有意思的LLM往事:

原始scaling law因为一个bug而错了,大概率害得业界在一堆「体量过大、训练不足」的模型上,白白烧掉了海量算力。




一个bug,烧掉两年。

当bug被撕开,我们看到的,不仅是算力的黑洞,更是一条被语言本身重塑的、远比想象中更深刻的智能边界。



Scaling Law竟是LLM版「地心说」

2020年,OpenAI给出结论:在固定的算力预算下,你应该优先把模型做大,而不是拿更多数据去喂它。

用公式说,最优参数量正比于算力的0.73次方——参数,是那个更该猛冲的变量。
不错的新闻,我要点赞     好新闻没人评论怎么行,我来说几句
上一页123456下一页
注:
  • 新闻来源于其它媒体,内容不代表本站立场!
  • 在此页阅读全文
    猜您喜欢:
    您可能也喜欢:
    我来说两句:
    评论:
    安全校验码:
    请在此处输入图片中的数字
    The Captcha image
      大家正在围观
    列治文沉船 失联华人船长家人发声
    西温"树没了"事件 豪宅区邻里大战
    52岁苏有朋给所有男星提了个醒:脸
    正式官宣!霍启山传喜讯,让香港四
    大温重大利好 联邦百亿投向这港口
    BC这工作时薪大涨55% 正招聘40人
    大温警方开枪击毙熊妈妈 引发众怒
    昨晚大温夜空又开挂了!北极光刷屏
    虽败犹荣!加国男足止步世界杯16强
    男子钓鱼被它咬一口 结果差点丧命
      同类热门新闻
    斯坦福AI时代:我的同学,ChatGPT
    拒绝上学门诊:那些被当作问题"解
    高考699分女孩报清华却被网暴,到
    蒋方舟:请清华教授停止对我的网暴
    被推着去"赛课"的年轻老师,获得一
    15分钟一局的王者荣耀,成了数学博
    六常委同调做一事 王沪宁学习两次
    网红直播时被警方当场带走!国际大
    拯救无数人的着名心理治疗师,自杀
    清华美籍学生因"失联"被退学 必有
      随时阅读新闻

    加西网微信

    大温优惠小红书

    温哥华地产中心微信

    Android: 加西网
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西网为北美中文网传媒集团旗下网站

    页面生成: 0.0199 秒 and 5 DB Queries in 0.0019 秒