人工智慧(AI)淘金潮正加速耗尽开发者不可或缺的资源:运算能力。
算力吃紧让重度使用者恐慌,且导致企业被迫撤回产品,也出现稳定性的问题。这些状况对AI热潮而言是一大警讯,因为就在大家已经习惯靠 AI 来提升工作效率时,算力不足会让这些超强工具变得很难用,发挥不了原本该有的实力。
洛杉矶工程师兼科技投资人普拉迪安(Ben Pouladian)说:「大家都在谈论石油,但我认为世界现在最缺的词元(tokens)」。在 AI 领域,「token」是用来衡量执行任务耗费多少运算资源的单位。
用于训练并执行 AI 模型的图形处理器(GPU),每小时租赁价格自去年秋季以来大幅上涨。热门聊天机器人Claude 和编写程式软体 Claude Code 的开发商 Anthropic,近日频繁为当机所苦。该公司已开始在尖峰时段对使用者的运算供应进行用量管制,但这项措施却引发客户抱怨,认为太快就达到使用上限。
华尔街日报报导指出,OpenAI 撤回 Sora 影片生成应用程式,部分原因就是为了腾出运算资源,以支援代号为「Spud」的新型 AI 模型所驱动的程式设计和企业级产品。
OpenAI 上周向投资人表示,该公司致力大幅增加算力,已掌握超越 Anthropic的关键优势。
彭博报导,OpenAI 在一份给投资人的照会中说:「这差距关系重大,因为算力现在已成为产品发展的限制因素。」
OpenAI 在这这份文字中引用了 Stratechery 部落格作者、分析师汤普森(Ben Thompson)的报告,他说算力受限可能影响了 Anthropic 决定仅向特定合作伙伴限量开放 Mythos 模型的决策。
OpenAI 表示,2025年可用的算力为 1.9 百万瓩(GW),是前一年的三倍,并预计明年容量将达到两位数,并在 2030 年达到约 30 GW。相较之下,OpenAI 估计 Anthropic 去年底算力为 1.4 GW,明年则将介于 7 至 8 吉瓦之间。
主要由软体企业用户使用的 OpenAI API 平台,token 使用量已从 10 月的每分钟 60 亿个,激增至 3 月下旬每分钟 150 亿个。
去年年底,AI 云端公司 CoreWeave 将价格调涨了 20% 以上,并开始要求小型客户签下至少三年的长约,而先前的要求仅为一年。
根据 Ornn 运算价格指数(Ornn Compute Price Index)显示,租赁辉达(Nvidia)最先进 Blackwell 系列晶片的一小时费用为 4.08 美元,较两个月前的 2.75 美元上涨了 48%。
2月中旬以来,Anthropic 旗下各系统当机已成家常便饭,部分企业客户不得不转向其他 AI 模型厂商。