伴随着AI服务器热度的持续飙升,HBM(高带宽内存)的市场需求正在以“超乎想象”的速度增长。
7月4日,据韩国科技媒体《ETnews》报道,在首尔举办的Nano Korea论坛上,SK海力士副总裁兼封装技术开发负责人Moon Ki-il就表示,市场研究机构集邦咨询曾预测,2021年—2027年HBM市场的年复合增长率(CAGR)为26.4%,但下游实际的市场需求已远远超过了这一数字。
“由于ChatGPT的出现,HBM市场正在经历爆发式增长,HBM市场的年复合增长率(CAGR)可达70%。”Moon Ki-il指出。
实际上,作为存储市场领域的知名第三方研究机构,集邦咨询也已经更新过其对于HBM市场需求的预测数据,据该机构预测,2024年HBM的位元(bit,存储或传输的数据量单位)年成长率近200%,而到了2025年,这一增长率有望再次翻倍。
另一家存储领域知名研究机构CFM闪存市场分析师杨伊婷告诉记者,HBM一跃成为主流AI服务器的标配,高成长性的HBM市场更是已成为三星、SK海力士及美光三家存储原厂的必争之地。
“必争之地”
HBM的超预期增长,本质上还是受AI训练对于大带宽的需求所催生。
“AI服务器需要处理大量并行数据,要求高算力和大带宽,高算力代表着AI服务器处理数据的速度更快,而大带宽代表服务器能够同时访问的数据更多,HBM通过提供高带宽和低延迟,满足了AI服务器对高效数据处理的需求,使得AI模型训练和推理过程更快更高效,这是驱动HBM市场需求逐年增长的主要原因。”集邦咨询资深分析师王豫琪告诉记者。
HBM并不是一个新概念,早在2013年,SK海力士就与超威半导体公司(下称“AMD”)合作开发出了全球首款HBM芯片,2015年,AMD发布的Radeon R9 Fury X,成为首款采用HBM技术的高端游戏显卡,不过在彼时,游戏显卡却并没有带火“HBM”。
对于游戏显卡而言,其所需处理的图形渲染,依靠传统GDDR(基于传统DRAM技术的一种显存,专为图形处理设计)显存便可满足,同时,HBM更复杂的制造工艺和更高的生产成本,也使得HBM在价格上远高GDDR,让搭载了HBM的游戏显卡在市场上不具备显著的效益。
“HBM销售单价较传统型DRAM(动态随机存取内存,用于计算机和其他设备中的主内存)高出数倍,相较DDR5(第五代双倍数据速率内存)价差大约五倍。”集邦咨询资深研究副总吴雅婷指出。
较高的售价叠加尴尬的定位,让HBM自2013年推出后,便始终处在不温不火的境地,直到ChatGPT的出现,大模型训练浪潮来袭,HBM才找到了真正的“用武之地”。
在采访过程中,记者了解到,AI训练和大模型计算需要处理海量数据并进行大量的并行运算,这对内存带宽和计算功耗提出了极高的要求。当处理器的浮点运算次数已经进入每秒万亿次(TeraFLOPS)时代时,传统DRAM的带宽还在以GB/s(每秒传输的字节数,1GB=1024MB)为单位计算,其带宽提升速度无法跟上处理器性能的提升速度,导致内存带宽成为系统性能的瓶颈,形成了所谓的“存储墙”。
同时,AI训练需要大量计算资源,系统的功耗急剧增加,又形成了“功耗墙”。
HBM通过3D堆叠和TSV(硅通孔)技术,提高了内存带宽,减少了数据传输的能耗,由此成为突破两堵“墙”的唯一路径。
在此背景下,HBM已经成为眼下市场主流AI训练芯片的“标配”,中泰证券在今年3月份的一份研报中指出,目前主流AI训练芯片都配有多颗HBM,以英伟达公司生产的AI训练芯片H100为例,1 颗英伟达H100芯片使用台积电封装技术将7 颗芯片(1颗 GPU+6 颗HBM)封在一起。
2024年5月31日,知名市场研究机构DIGITIMES发布报告指出,2024年全球服务器用GPU产值(包含存储器在内的板卡与次系统)将达1219亿美元,其中,高端服务器GPU产值比重将逾八成,达1022亿美元。
而作为AI训练芯片的关键部件,HBM的订单也随着AI服务器一起暴增。在SK海力士和美光科技近期的财报电话会上,两家公司的高管均表示自家的HBM订单早已爆满,2025年之前的产能都已售罄。三星电子也在4月30日举办的2024年第一季度财报电话会上强调:“2024年,我们的HBM位元供应实际上比去年增加了三倍多。我们已经与客户完成了相关供应的讨论。2025年,我们将继续扩大供应,至少比去年增加两倍或更多。”
根据中泰证券在前述研报中的测算,2024年全球AI服务器HBM市场需求将达到151亿美元,较2023年基本翻倍。
目前,HBM技术已迭代至HBM3E(第五代高带宽内存),而研发进展最快的SK海力士则在2024年4月宣布,已与台积电签署了关于开发下一代HBM产品HBM4和合作下一代封装技术的谅解备忘录,该公司将利用台积电的领先逻辑工艺生产HBM4的基底芯片,并计划在2026年开始量产,供应符合各种客户需求(包括性能和能效)的定制HBM产品。
7月10日,全球存储行业标准制定组织JEDEC固态技术协会(JEDEC Solid State Technology Association)宣布高带宽内存(HBM)标准的下一版本HBM4即将完成。
“HBM4作为对当前发布的HBM3标准的演进,旨在进一步提升数据处理速率,同时保持更高带宽、更低功耗和每个芯片和/或堆叠更大容量等基本特性。这些改进对于需要高效处理大型数据集和复杂计算的应用至关重要,包括生成式人工智能(AI)、高性能计算、高端显卡和服务器。”JEDEC在其官网表示。
王豫琪告诉记者,眼下,作为必争之地,HBM市场正被SK海力士、三星电子和美光科技三大巨头牢牢垄断。据集邦咨询调查,2023年三大厂商在HBM领域的市场份额分别为53%、38%、9%。同时,由于增长潜力大、产品利润高,上述三家公司在HBM领域的的竞争还将进一步加剧。
在SK海力士2024年第一季度的财报电话会上,该公司管理层就表示,为了积极支持不断增长的AI内存需求以及传统DRAM需求,决定投资建设新的DRAM生产基地M15X,目标是在2025年底前启用。
此外,SK海力士还决定在美国印第安纳州西拉斐特建设一个先进的AI内存封装生产设施,该设施总投资约38.7亿美元,从2028年开始大规模生产包括HBM在内的下一代AI内存产品。
“我们预计明年的资本支出将大幅增加,FY25年(2025财年)的资本支出约占收入的30%范围,将用于HBM组装和测试设备、晶圆厂和后端设施的建设以及技术转型投资,以应对市场需求增长。公司计划在2025财年在爱达荷州和纽约的新建晶圆厂的建设资本支出将占预期总资本支出增长的一半或更多。”美光科技管理层也在2024年FQ3(2024年3—5月)的财报电话会中透露。
另根据集邦咨询的调研,三星电子亦正着手升级该公司位于韩国平泽的工厂,美光科技则还计划扩张位于日本广岛的产线。该机构指出,2025年高带宽内存(HBM)芯片总产量将达到54万颗,产能相较于2024年增幅或达到105%。
国内厂商“起步”
王豫琪同时向记者表示,眼下,三星电子、SK海力士与美光科技三家厂商对HBM的投资都非常积极,厂商们对于HBM的产能规划甚至在一定程度上挤压了普通DRAM的供应,这也引发了市场对HBM领域的投资是否过热的担忧。
“HBM的火爆,让传统型DRAM产品的生产将面临一定的限制。如果终端产品需求增加,可能导致供需失衡,从而推动合约价格持续上涨。”王豫琪说。
杨伊婷亦称,由于HBM(高带宽内存)、DDR(双倍数据速率内存)以及LPDDR5X(第五代低功耗双倍数据速率内存)制程冲突,在相同制程下,生产同样存储容量的产品,HBM3E(第五代高带宽内存)消耗的晶圆量约是DDR5(第五代双倍数据速率内存)的两至三倍。此外,HBM生产过程中需要TSV封装(硅通孔封装技术),因此HBM生产周期较DDR5增加1.5个月—2个月,且先进HBM的TSV良率(成品率)仍有待提升,完全突破良率瓶颈可能需要2年—3年时间,HBM对传统存储芯片产能的排挤仅仅只是开端。
“存储原厂将更多的产能分配至服务器市场,加上传统产品和存储技术的迭代升级,消费类终端也面临着存储资源结构性紧缺的挑战。”杨伊婷表示。
但对于已经在HBM上杀“红眼”的三家大厂来说,相比起稳住传统DRAM的基本盘,大家还是更愿意冒风险在AI存储赛道上争取主导权。
“如果下半年PC、智能手机和通用服务器等传统应用的需求超出预期,这些产品(传统DRAM产品)可能会出现供应短缺。但(还是需要)优先考虑HBM的生产能力,因为其需求激增且可见性高。”SK海力士副总裁Woo - Hyun Kim在2024年第一季度的财报电话会上就曾如此解释过公司为何要优先保障HBM的生产。
而且,在现阶段,HBM的超高景气度也确实在给相关厂商带来真金白银的收益。“我们的HBM出货量在FQ3(第三财季)开始增加,该季度HBM3E的收入超过1亿美元,利润率高于DRAM和公司的整体利润率。我们预计在FY24(2024财年)从HBM中获得数亿美元的收入,并在FY25(2025财年)获得数十亿美元的收入。我们预计到CY25(2025年)HBM市场份额将达到与我们整体DRAM市场份额相当的水平。”美光科技管理层在2024年FQ3(2024年3—5月)的财报电话会中如此表示。
7月7日,三星电子发布2024年第二季度财报,该公司当季营业利润同比暴增1452.2%,达到10.4万亿韩元(约合人民币561.6亿元),直接超越了其2023年全年6.57万亿韩元的营业利润。
当美光科技、SK海力士与三星电子三家大厂在HBM领域“龙争虎斗”时,国内的存储厂商眼下却难以从中分得一杯羹。
有业内人士告诉记者,HBM属于美国出口管制限制的高性能产品领域,按照合规要求,国内几乎没有能顺利展开相应布局的企业,大多数公司主要围绕上游材料端开展业务。
从目前公开披露的信息来看,在A股的HBM概念公司中,大部分企业在HBM领域的布局都尚属起步阶段,暂未有实质性的业务进展。
例如,分销平台香农芯创(300475.SZ)就曾于近日披露,该公司作为SK海力士分销商之一具有HBM代理资质;封装龙头通富微电(002156.SZ)近期在互动平台上面对投资者关于HBM业务相关的问题亦统一回复称,“HBM目前仍是国际Memory IDM大厂主导封测”;紫光国微(002049.SZ)于6月28日回复投资者提问时也表示,“公司的HBM产品目前还处于研发阶段,已经通过初样测试”;兴森科技(002436.SZ)则曾在5月份披露称,该公司的FCBGA(Flip Chip Ball Grid Array,翻转芯片球栅阵列,芯片直接焊接到基板上的封装技术)封装基板可用于HBM存储的封装,但目前尚未进入海外HBM龙头产业链;国芯科技(688262.SH)亦曾在5月份表示,该公司在客户定制服务产品中使用HBM接口IP技术,目前正在基于先进工艺开展流片验证工作。
国产存储大厂江波龙(301308.SZ)在7月1日于投资者互动平台表示:“公司子公司元成苏州具备晶圆高堆叠封装(HBM技术涉及的一部分)的量产能力,但目前无法生产HBM。”同日,佰维存储(688525.SH)也披露称:“拟定增募资建设的晶圆级先进封测项目可以构建HBM实现的封装技术基础。”
此外,在2024年初,有媒体报道称,长鑫存储有计划加入HBM市场,制造HBM相关产品。记者就此向长鑫存储官方求证,但截至发稿,未获回复。