Epoch AI 重磅指数:FLOP/s 严重低估现代 AI 芯片,GB300 推理能力竟达 H100 的 25 倍
多年来,AI 硬件领域一直用同一个数字来记分:FLOP/s,也就是芯片每秒能执行多少次浮点运算。但 AI 研究机构 Epoch AI 认为,这个数字只讲出了故事的一部分。 2026 年 11 月 9 日,Epoch AI 正式发布「推理性能指数」(Inference Performance Index,IPI)V1 版本。其首个重要发现是:Nvidia 的 GB300 交付的推理能力约为 H100 的 25 倍,但其八位精度(8-bit)FLOP/s 仅为后者的约 2.5 倍。 也就是说,规格表所暗示的性能与指数所实测到的性能之间,存在高达十倍的差距。 这个指数到底在测什么 IPI 关注的是推理,即模型在回答一次请求时所做的工作,而非训练。更具体地说,它瞄准的是「智能体」(agentic)负载,也就是 AI 系统执行多步骤任务时的场景。 从技术层面看,Epoch AI 会模拟一个系统在不同输出速度下能够同时处理多少并发请求,其容量曲线覆盖每请求每秒 50 到 400 个 token 的区间。 该指数还把 FLOP/s 完全忽略的因素纳入考量,包括内存带宽、芯片间通信以及计算能力。...
- 资讯
- Ai 芯片
- Blackwell