创造无限商机,北美中文网与您共同前进
推荐车行
Signature Mazda
最新新闻
牛!10公斤残骸砸顶没穿透 特斯...
总理亲自"带货" 弃豪车改开比...
"16个学生挤进7座车":艰难上学...
产销失衡,特斯拉第一季度积压5...
浓雾车祸"特斯拉神闪避"平安脱...
汽车大厂斯特兰蒂斯 加拿大组...
BC省电动车政策"大转弯" 目标下调
新车越来越不耐用 最新调查:电...
油价涨!泰国总理弃劳斯莱斯 改...
自动驾驶实则手动?美参议员调...
大温发生严重车祸 行人被撞至重伤
武汉交警通报"多辆萝卜快跑行...
估值机构公布:5年后最保值车款...
两个瘦子走着走着 肚子突然胖...
与女友吵架后爬到11楼"吹风醒...
选择语言:  
English | 简体 | 繁体
会员区  
no avatar
欢迎您 游客
登录
免费注册

记忆体杀手?新技术让多头丢盔弃甲

请用微信 扫一扫 扫描上面的二维码,然后点击页面右上角的 ... 图标,然后点击 发送给朋友分享到朋友圈,谢谢!
科技大厂Google日前发表最新AI压缩技术TurboQuant,这项可以将AI模型中在推论过程中所需的记忆体大幅减少,这一消息传出后震撼了业界,也让市场开始质疑记忆体芯片的荣景是否能够延续。

TurboQuant是一种旨在解决“键值快取(Key-Value Cache)”瓶颈问题的演算法,Google将键值快取描述为“数位作弊表”,他实际上充当了AI模型的短期记忆。每当大型语言模型处理一段对话时,都会将过去的计算结果储存在这个快取中,这样就无需从头开始计算。

随着对话愈长,这份表就愈大,占用GPU(图型处理器)记忆体的速度就愈快。虽然可以透过压缩资讯来增加这张“作弊表”的容量,但他仍会很快被填满,然而,压缩可能会导致模型出现“幻觉”或是出错。


TurboQuant旨在解决其中的一些问题,Google研究人员表示,TurboQuant将AI模型中的键值记忆体大小减少了至少6倍,并将速度提高了8倍,且不影响模型准确性。

市场听说AI相关的记忆体使用量减少了6倍,这可能会让那些从记忆体类股热潮中获利的投资人感到担忧,因为这些公司的涨势是建立在AI对记忆体处理器和储存容量不断成长的需求之上。

Evercore分析师达里亚纳尼(Amit Daryanani)指出,Google推出的TurboQuant为大幅降低AI工作负载的记忆体提供了一条途径。如果TurboQuant能够获得显著发展,可能会对DRAM(动态随机存取记忆体)和NAND(储存型快闪记忆体)等记忆体的长期需求预期构成压力。

美光单周市值蒸发700亿美元

受到Google最新技术的打击,美国记忆体芯片股单周市值蒸发近1000亿美元。

其中以美国记忆体大厂美光科技表现最惨烈,单周市值蒸发超过700亿美元,跌幅达15%。去年,标普500指数当中表现最好的快闪记忆体制造商晟碟(SanDisk)单周市值蒸发约150亿美元;记忆体公司威腾电子(Western Digital)和希捷(Seagate)市值也分别蒸发了数十亿美元。


加州资产管理公司Informed Momentum Company投资长普伦帝斯(Travis Prentice)表示,这些股票已经经历了巨大的上涨,因此任何微小的消息都可能导致股价下跌,这是合乎逻辑的情况。

普伦帝斯补充,记忆体类股的上涨行情看起来还没有结束,但市场预期很高,因此获利了结是明智之举,尤其是在当前动荡的市场环境下。

效能更强的AI模型需用更多记忆体


专家表示,虽然TurboQuant技术可以减少记忆体使用量,但对记忆体需求减缓的担忧有些过头了。普遍观点认为,尽管Google宣布记忆体使用量可能减少,但这将推动AI技术的进步和普及。因此,TurboQuant技术出现实际上代表芯片需求增加,而不是减少。

一些分析人士指出,提高资源利用率往往会导致资源消耗增加,因为效率提升会开启以前不存在的用途。

摩根大通(JPMorgan)报告就提到了这一论点,报告中认为,记忆体消耗短期内不会受到威胁。 SemiAnalysis分析师也提到,解决瓶颈问题可以提升AI硬体的效能,而效能更强的模型最终需要的是更多的记忆体,而不是更少记忆体。

摩根士丹利(Morgan Stanley)分析师在报告中写道,TurboQuant等效率提升技术可以减少运行AI模型所需的基础设施。如果模型能够在不损失性能的前提下,大幅降低记忆体需求,那么每次查询的服务成本将明显下降,进而提升AI的盈利能力。原本需要云端丛集的模型现在可以部署在当地的硬体上,有效降低了大规模部署AI的门槛。

Sandisk财务长威索索(Luis Visoso)在与美银证券(BofA Securities)分析师的对话中也谈到这一议题。威索索指出,TurboQuant可以提升超大规模资本支出的投资报酬率,而这种效率的提升,反过来又可能推动需求上升。


觉得新闻不错,请点个赞吧     还没人说话啊,我想来说几句
上一页12下一页
注:
  • 新闻来源于其它媒体,内容不代表本站立场!
  • 在此页阅读全文
    猜您喜欢
    您可能也喜欢
    当前评论
    当前评论目前还没有任何评论,欢迎您发表您的看法。
    发表评论
    您的评论 *:
    安全校验码 *:
    请在此处输入图片中的数字
    The Captcha image
      (请在此处输入图片中的数字)

    页面生成: 0.0288 秒 and 5 DB Queries in 0.0020 秒
    Powered by https://www.westca.com

    加西网为北美中文网传媒集团旗下网站