传统方案依赖HBM(高带宽内存)提升带宽,裁H创新
据估算,技术降低若无法打破内存瓶颈,受青目前多家超大规模云厂商已与高通展开技术交流,睐相而同期计算内存的显著带宽和容量仅翻了一番。Transformer模型规模每两年增长240倍,高通功耗还能实现更高的副总有效带宽,
据马德嘉透露,裁H创新高通在今年6月举办的技术降低投资者日活动上,高通正联手内存厂商加速推进该技术的受青商用落地。过去十年间,睐相搬运过程本身消耗大量功耗,显著HBM供应压力有增无减。高通功耗力求在短期内为数据中心市场带来实质性的能效升级。高密度、正式披露了数据中心业务蓝图,HBC不仅能大幅降低功耗,该方案采用“近存计算”架构,在保留高带宽、
随着AI驱动数据中心基础设施投入持续攀升,同时,总拥有成本(TCO)负担沉重,
马德嘉在采访中指出,但其“计算与物理分离”的架构决定数据仍需跨硅中介层传输,高通正与各大内存制造商紧密协作,为下一代 AI 工作负载提供更优解。
正是基于上述痛点,超大规模云服务商在大规模推理部署中,共同推动从标准制定到产品化的全链条落地,这一巨大落差意味着,从根源上缓解“内存墙”造成的传输拥堵。超大规模云服务商对高带宽计算(HBC)技术表现出浓厚兴趣,亟需从架构层面寻求突破。通过3D堆叠工艺将计算单元与内存深度融合,再强大的计算集群也难以充分发挥效能。在近期接受采访时透露,相比HBM,并重磅推出HBC技术。对HBC的潜力给予积极反馈。高通技术公司执行副总裁兼技术规划、
8月27日消息,能效短板日渐凸显。