当地时间11月4日，微软公司宣布，其azure nd gb300 v6虚拟机，在运行meta的llama2 70b大模型时，推理速度达到了惊人的每秒110万个token。
微软首席执行官萨提亚·纳德拉表示：“这一行业纪录的实现，得益于我们与英伟达长期的联合创新，以及我们在生产级规模运行人工智能方面的专业能力。”
新一代Blackwell Ultra GPU助力，性能功耗双双优化
这一破纪录的性能，主要得益于基于NVIDIA GB300 NVL72系统的Azure ND GB300虚拟机。该系统在单个机架内，集成了72颗NVIDIA Blackwell Ultra GPU和36颗NVIDIA Grace CPU。
为验证其性能，微软在18个虚拟机上，分别运行了MLPerf Inference v5.1基准测试。结果显示，其总计推理吞吐量达到了每秒110万个token，超越了此前在同一机架上、使用上一代ND GB200 v6虚拟机所创下的每秒86.5万个token的纪录。
与上一代的NVIDIA GB200相比，其推理性能提升了27%，而功耗仅增加了17%，能效比显著优化。
行业里程碑：首次突破百万Token大关
独立的性能验证机构Signal65对此次测试结果进行了认证。其副总裁指出：“这一里程碑的意义，不仅在于行业首次突破了每秒百万token的大关，更在于它是在一个专为满足现代企业动态使用需求和数据治理要求而设计的平台上实现的。”
Signal65还补充道，与NVIDIA H100世代相比，GB300在机架级测试中，实现了近10倍的推理性能提升，同时能效比也提高了近2.5倍。这一巨大的技术飞跃，无疑将为未来AI应用的普及和发展，提供更为强大的算力支持。
