Meta发布新一代AI芯片MTIA性能显著提升

“

Meta公布新一代AI芯片MTIA，性能较前代显著提高。

Meta近日公布了其Meta训练和推理加速器（MTIA）的下一代产品的细节。该芯片是专为优化公司AI工作负载而设计的定制芯片系列，最新版本在性能方面较其前身MTIA v1有了显著改进，并在为Meta的广告排名和推荐模型提供动力方面发挥着重要作用。

新的MTIA芯片是Meta在AI基础设施方面不断增长的投资的一部分。随着AI模型的计算需求随着其复杂性的增加而增加，Meta认识到开发高效且可扩展解决方案的重要性，以支持生成式AI产品、推荐系统和先进AI研究。

在技术层面上，新的MTIA芯片具有一个由8x8处理元素（PE）组成的网格，这在密集计算性能和稀疏计算性能方面提供了显著的提升。该芯片的架构专注于实现计算、内存带宽和内存容量的最佳平衡，以高效地服务于排名和推荐模型。

Meta还开发了一个大型机架式系统，可以容纳多达72个加速器，以支持下一代硅。该系统设计为将芯片时钟频率提高到1.35GHz，并在90瓦特下运行，确保比第一代设计具有更高的计算、内存带宽和内存容量的更密集功能。

自其对MTIA的投资开始以来，软件一直是Meta关注的关键领域。MTIA堆栈旨在完全集成到PyTorch 2.0中，并具有TorchDynamo和TorchInductor等功能。Meta还通过创建Triton-MTIA编译器后端优化了软件堆栈，以提高开发人员生产力。

早期的结果表明，下一代MTIA硅在评估的四个关键模型方面比第一代芯片的性能提高了3x。在平台级别上，通过双倍数量的设备和强大的双插槽CPU，Meta实现了比第一代MTIA系统高出6x的模型服务吞吐量和高出1.5x的每瓦性能。

MTIA已经部署在Meta的数据中心中，并且正在积极地为生产中的模型提供服务。该芯片被证明在为Meta特定的工作负载提供性能和效率的最佳组合方面与商业上可用的GPU高度互补。作为Meta长期路线图的一部分，MTIA将继续发展和扩展以支持公司的雄心勃勃的AI目标。