芯片巨头NVIDIA正准备推出一款强大的新型人工智能处理器,旨在加快聊天机器人和其他AI工具生成响应的速度,可能使今天的系统如ChatGPT相比之下显得缓慢。
这个新平台预计将在NVIDIA年度GTC开发者大会上首次亮相,专为AI推理进行了优化,即训练模型对用户提示产生答案的阶段。与传统的同时处理训练和推理的GPU不同,即将推出的处理器专注于更快、更高效地提供响应。
如果推出,该产品将标志着12月份交易的首个实质性成果,该交易将Groq的创始人纳入其中,这家公司专注于高速AI处理硬件。
去年年底,据报道NVIDIA花费约200亿美元从芯片初创公司Groq获得技术许可并招募关键人员,包括其首席执行官。大约同一时间,NVIDIA首席执行官黄仁勋告诉员工:"我们计划将Groq的低延迟处理器整合到NVIDIA AI工厂架构中,扩展平台以服务更广泛的AI推理和实时工作负载。"
现在,据《华尔街日报》报道,这款新推理芯片预计将高速处理复杂的AI查询,OpenAI和其他领先客户可能会采用它。其报告还显示,新芯片可能处理OpenAI推理工作负载的近10%。
消息人士称,Groq式芯片将使用SRAM
在最近的财报电话会议上,NVIDIA首席执行官暗示将在即将到来的GTC活动上推出几款新产品,该活动常被形容为"AI超级碗"。他表示:"我有一些很棒的想法想在GTC上与你们分享。"
大多数分析师都认为Groq式芯片可能是产品阵容的一部分。他们还表示,其设计可能揭示NVIDIA如何解决推理计算中的内存限制问题。这类平台通常运行在高带宽内存(HBM)上。然而,HBM最近一直难以采购。
内部人士声称该公司计划在芯片中使用SRAM,而不是与HBM相关的动态RAM。理想情况下,SRAM更容易获得,可以提高AI推理工作负载的性能。
如果芯片推出,对于芯片公司和AI训练模型来说可能是一大进步。然而,在谈到其可能推出时,d-Matrix的创始人兼首席执行官Sid Sheth对其发展蒙上了阴影。他指出,虽然NVIDIA仍然是AI训练的明确领导者,但推理代表了一个非常不同的领域。他分享道:"开发人员可以转向NVIDIA以外的竞争对手,因为运行完成的AI模型不需要与训练它们相同的编程。"
尽管如此,其他科技巨头也在推进推理计算。Meta本周推出了四款专为推理量身定制的处理器,促使一位硅谷投资者表示该行业可能正在进入非"NVIDIA主导"阶段。
然而,最近,NVIDIA竞争对手FuriosaAI的首席执行官June Paik在评论易于部署的推理计算的好处时警告说,大多数数据中心无法容纳最新的液冷GPU。
尽管如此,尽管他有担忧,但美国银行分析师预计,到2030年推理工作负载将占AI数据中心支出的75%,届时市场将达到约1.2万亿美元,高于去年的约50%。Creative Strategies的科技分析师Ben Bajarin也断言,未来的数据中心不会遵循一刀切的模式,预计公司将采取不同的芯片和设施开发方法。
NVIDIA预计将在2026年晚些时候发布Vera Rubin芯片
NVIDIA最近还推出了其下一代AI芯片Vera Rubin AI芯片,预计DeepSeek等推理AI平台的兴起将推动更大的计算需求。它声称这些芯片将有助于训练更大的AI模型,并为更广泛的用户群提供更复杂的输出。
根据黄仁勋的说法,Rubin也将在2026年下半年进入市场,高端"ultra"版本将在2027年推出。
他还解释说,单个Rubin系统将576个独立GPU组合成一个芯片。目前,NVIDIA的Blackwell芯片在其NVL72系统中集群72个GPU,这意味着Rubin将具有更先进的内存。
来源: https://www.cryptopolitan.com/nvidias-chip-could-make-chatgpt-look-slow/
