突破性能瓶颈,Rambus HBM3引领AI新时代
内存性能已成为制约AI性能提升的关键因素。Rambus Inc.近日宣布,其Rambus HBM3内存控制器IP现已提供高达9.6 Gbps的性能,为HBM3标准的持续演进提供业界领先的支持。
众所周知,HBM作为内存的一种技术类型,采用创新的2.5D/3D架构,能够为AI加速器提供具有高内存带宽和低功耗的解决方案。凭借极低的延迟和紧凑的封装,HBM已成为AI训练硬件的首选。TrendForce预估,2024年全球HBM的位元供给有望增长105%;HBM市场规模也有望于2024年达89亿美元,同比增长127%;预计2025年HBM市场规模将会突破100亿美元。
从2014年全球首款HBM产品问世至今,HBM技术已发展至第四代,分别为HBM、HBM2、HBM2e、HBM3,带宽和容量分别从最初128GB/S和1GB提升至819GB/S和24GB,传输速度从1Gbps提高至6.4Gbps。据悉,第五代HBM3E已在路上,由SK Hynix、美光和三星共同发布,它所支持的数据传输速率达到9.6Gb/s。
面对当前AI发展趋势,Joe Salvador直言,目前我们无法预知它未来会发展到何种程度。但可以预见的是,高性能计算、更高的带宽和内存容量的需求在任何应用领域都不会有任何下降的趋势。因此,Rambus将继续推动创新,助力整个行业进一步发展。
在设计上,HBM包含了中介层、处理器、内存堆栈。HBM通过使用先进的封装方法垂直堆叠多个DRAM,与GPU通过中介层互联封装在一起,打破了内存带宽及功耗瓶颈。这也让传输速率成为了HBM的核心参数。
Rambus大中华区总经理苏雷表示,AI向前发展对技术方面的需求,主要就是算力和内存。目前摆在业界面前的更多是存储的问题。而Rambus作为存储方面的专家,可以预见到伴因为AI的新成长,Rambus会在这一轮的科技浪潮中发挥越来越重要的作用,助力AI的成长。
苏雷还提到,AI的应用场景正在从以前集中在数据中心中,逐渐地向边缘计算拓展。对于Rambus这也意味着业务的重心将有可能不再像以前那样全部集中在数据中心中,而是也会因为市场需求囊括边缘计算的场景。
Rambus接口IP产品管理和营销副总裁Joe Salvador介绍称,该控制器是一种高度可配置的模块化解决方案,可根据每个客户对尺寸和性能的独特要求进行定制。目前已与SK海力士、美光、三星完成了一整套的测试。对于选择第三方HBM3 PHY的客户,Rambus还提供HBM3控制器的集成与验证服务。
Joe Salvador表示,一家企业想进入到HBM行业会面临相应的一些门槛和挑战。Rambus得益于积累了多年的技术经验和与主流内存厂商合作的经验,使得所设计出来的内存控制器可以做到高性能、低功耗,且对于客户来说成本也相对较低,且具有很好的兼容性。
对于HBM而言,Rambus并不陌生。早在2016年,Rambus就入局了HBM市场。此次发布的Rambus HBM3内存控制器IP专为需要高内存吞吐量、低延迟和完全可编程性应用而设计。相比HBM3 Gen1 6.4 Gbps的数据速率,Rambus HBM3内存控制器的数据速率提高了50%,总内存吞吐量超过1.2 TB/s,适用于推荐系统的训练、生成式AI以及其他要求苛刻的数据中心工作负载。
案例深度解析:ChatGPT与HBM3的协同演进
ChatGPT的迭代升级,GPT-3到GPT-4参数的激增,都反映了AI训练数据集的飞速增长,对算力的需求也在不断提高。Rambus HBM3的引入,正是为了满足这种需求,其高速传输性能为AI加速器提供了有力的支持。
以具体案例来看,一家专注于AI训练的初创公司,采用了Rambus HBM3内存控制器,成功实现了数据吞吐量的显著提升,其训练速度提高了40%,而功耗则降低了20%。这一案例展示了Rambus技术在提升AI性能方面的实际效果。
技术革新,推动AI发展新纪元
Rambus的HBM3控制器,不仅仅是一个高性能的解决方案,更是AI时代技术革新的象征。它通过打破传统内存带宽和功耗的限制,为AI应用提供了强大的算力支持。
在未来,因为AI应用的不断拓展,Rambus将继续发挥其在存储领域的专业优势,为AI的快速发展提供坚实的后盾。Rambus大中华区总经理苏雷表示,AI应用场景将从数据中心 到边缘计算,Rambus的业务也将随之 ,以满足市场的多元化需求。
解决方案定制,助力企业跃升AI新高峰