本周二,AMD在数据中心与AI技术首映式上展示了最新Instinct MI300X GPU。AMD在主题演讲中并未透露更多细节。然而,Hoang Anh Phu稍后发现MI300X(192 GB HBM3,OAM模块)的总功耗(TBP)为750W,而其上一代MI250X的TBP仅为500-560W。
MI300X是一款纯GPU版本,采用AMD CDNA 3技术,使用高达192GB的HBM3高带宽内存来加速大型语言模型和生成式AI计算。MI300X及其CDNA架构专为处理大型语言模型和其他先进AI模型而设计,将12个5nm chiplets封装在一起,共有1530亿颗晶体管。这款全新的AI芯片放弃了APU的24个Zen内核和I/O芯片,转而采用更多的CDNA 3 GPU和更大的192GB HBM3,提供5.2TB/s的内存带宽和896GB/s的无限带宽。