AI 推理成价值核心，HBM 瓶颈凸显产业痛点
思瀚产业研究院    2025-09-29

1、 AI 大模型推理中存在推不动、推得慢、推得贵三大挑战

当前，人工智能已步入发展深水区，AI 推理正成为下一个增长的关键阶段，推理体验和推理成本成为了衡量模型价值的黄金标尺。华为公司副总裁、数据存储产品线总裁周越峰指出，AI 时代，模型训练、推理效率与体验的量纲都以 Token 数为表征，Token 经济已经到来。

ChatGPT 的访问量呈现线性增长，最新访问量达到4亿，受益于中国AI大模型DeepSeek的快速发展，日均调用量也在快速上升，2025 年 1 月开始，中国 AI 推理的需求增长 20 倍，未来三年算力需求有望快速增长。IDC 表示，2024 年算力需求 60%是训练，40%是推理，到 2027 年中国用于推理的算力需求——工作负载将达到 72.6%。

据电子发烧友网，当下，AI 大模型推理应用落地中，遇到推不动、推得慢和推得贵的三大挑战。首先，长文本越来越多，输入超过模型上下文窗口的内容，推理窗口小就推不动；其次，由于中美在 AI 基础设施的差距，中国互联网大模型首 Token 时延普遍慢于美国头部厂商的首 Token 时延，时延长度为后者的两倍；推得贵，美国大模型的推理吞吐率为中国大模型推理吞吐率的 10 倍。

2、HBM 突破存储墙，海外垄断下技术难度和成本高企成最大障碍

上述 AI 推理中所遇到的挑战，主要受制于传统 DRAM 面临“存储墙”瓶颈，内存的存取速度严重滞后于处理器的计算速度，严重制约了 AI 模型的训练和推理速度。直到 HBM 的出现，彻底改变了传统 DRAM 的布局模式。

HBM 已经成为 AI 革命的核心，是对传统内存瓶颈的有效突破。HBM（高带宽内存）是一种专用内存技术，用于 AI 处理器、GPU 和 HPC 系统。HBM3 每堆栈可提供高达 819GB/s 的传输速度，对于支持大型语言模型 (LLM)、神经网络训练和推理工作负载至关重要。

与传统内存芯片相比，HBM芯片最大特点在于采用了先进的3D 堆叠技术，通过硅通孔（TSV）将多个 DRAM 芯片垂直堆叠在一起，并与 GPU 或 CPU 等处理器封装在同一模块中，实现了大容量、高位宽的 DDR 组合阵列，能有效解决“存储墙”问题。

根据 Yole Group 的数据，HBM 市场未来几年都呈现出高速增长的态势。全球 HBM 收入预计将从 2024 年的 170 亿美元增长至2030 年的 980 亿美元，复合年增长率达 33%。HBM在 DRAM 市场中的收益份额预计将从 2024 年的 18% 扩大到 2030 年的 50%。从位出货量来看，HBM 从 2023 年的 1.5 B GB，到 2024 年的 2.8 B GB。到 2030 年，预测将达到 7.6 BGB。

当前 AI 算力生态高度依赖 HBM 硬件升级，HBM 市场呈现寡头竞争格局。然而极高的技术难度和高昂成本成为了制约其大规模应用的一大障碍。在 AI 服务器中，HBM 的成本占比约为 20%—30%，仅次于用于计算的 AI 芯片。

当前全球 HBM 市场由三星、SK 海力士等主导，且受到美国出口政策的影响。根据 2024 年 12 月 2 日发布的新规，美国禁止向中国出口 HBM2E（第二代 HBM 的增强版）及以上级别的 HBM 芯片。不仅美国本土生产的 HBM芯片受到限制，任何在海外生产但使用了美国技术的 HBM 芯片也受到出口管制。该禁令于 2025 年 1 月 2 日正式生效。目前，国产厂商 HBM 的突破还在推进中。

更多行业研究分析请参考思瀚产业研究院官网，同时思瀚产业研究院亦提供行研报告、可研报告（立项审批备案、银行贷款、投资决策、集团上会）、产业规划、园区规划、商业计划书（股权融资、招商合资、内部决策）、专项调研、建筑设计、境外投资报告等相关咨询服务方案。