算力专题研究二：从训练到推理：算力芯片需求的华丽转身-华福证券

VIP专免

3.0 钢铁侠 2024-08-25 130 1.67MB 11 页免费

侵权投诉

证

券

研

究

报

告

电子

2024 年08 月24 日

诚信专业发现价值

请务必阅读报告末页的声明

电子

从训练到推理：算力芯片需求的华丽转身——算

力专题研究二

投资要点：

推理算力：算力芯片行业的第二重驱动力

我们在此前外发报告《如何测算文本大模型 AI 训练端算力需

求？》中，对未来三年 AI 训练卡需求持乐观态度。我们认为，推理侧

算力对训练侧算力需求的承接不意味着训练需求的趋缓，而是为算力

芯片行业贡献第二重驱动力。当前推理算力市场已然兴起，24 年AI

推理需求成为焦点。据 Wind 转引英伟达 FY24Q4 业绩会纪要，公司

2024 财年数据中心有 40%的收入来自推理业务。如何量化推理算力需

求？与训练算力相比，推理侧是否具备更大的发展潜力？我们整理出

AI 推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趋势，

以此给出我们的判断。

Scaling Laws&长文本趋势：推理需求的核心驱动力

根据 OpenAI《Scaling Laws for Neural Language Models》，并结合

我们对于推理算力的理解，我们拆解出云端 AI 推理算力需求≈2×模

型参数量×数据规模×峰值倍数。由 Scaling Laws 驱动的参数量爆发

是训练&推理算力需求共同的影响因素；而对于推理需求，更为复杂的

是对数据规模的量化。我们将数据规模（tokens）拆解为一段时间内用

户对于大模型的访问量与单次访问产生的数据规模（tokens）的乘积，

其中，单次访问产生的数据规模（tokens）可以进一步拆解为单次提问

的问题与答案所包含的 token 数总和乘以单次访问提出的问题数。通过

层层拆解，我们发现单次问答所包含的 token 数是模型中的重要影响因

素，其或多或少会受到大模型上下文窗口（Context Window）的限制。

而随着上下文窗口瓶颈的快速突破，长文本趋势成为主流，有望驱动

推理算力需求再上新台阶。

结论：

我们首先根据前述逻辑测算得到 AI 大模型推理所需要的计算量，

随后通过单 GPU 算力供给能力、算力利用率等数值的假设，逐步倒推

得到 GPU 需求数量。若以英伟达当代&前代 GPU 卡供给各占 50%计

算，我们认为 2024-2026 年OpenAI 云端 AI 推理 GPU 合计需求量为

148/559/1341 万张。

建议关注

-算力芯片：寒武纪海光信息龙芯中科

-服务器产业链：工业富联沪电股份深南电路胜宏科技

风险提示

AI 需求不及预期风险、Scaling Law 失效风险、长文本趋势发展

不及预期风险、GPU 技术升级不及预期的风险、测算模型假设存在偏

差风险。

强于大市

（维持评级）

一年内行业相对大盘走势

团队成员

分析师：

陈海进(S0210524060003)

chj30590@hfzq.com.cn

分析师：

徐巡(S0210524060004)

xx30511@hfzq.com.cn

联系人：

李雅文(S0210124040076)

lyw30508@hfzq.com.cn

相关报告

1、AMD 宣布收购服务器供应商，英伟达强力加

持“黑神话”游戏体验-算力周跟踪——2024.08.22

2、苹果领军 AI 端侧创新，消费电子长期量价上

行空间打开——2024.08.21

3、20240818 周报：关注折叠屏手机形态演进及

新机发布——2024.08.19

华福证券

诚信专业发现价值

请务必阅读报告末页的声明

行业专题报告 |电子

正文目录

1如何测算文本大模型 AI 推理端算力需求？ .............................................................3

2 Scaling Laws&长文本趋势：推理需求的核心驱动力.............................................. 4

2.1 关于模型参数量：Scaling Laws 仍为核心 .............................................................4

2.2 关于数据规模（tokens）：长文本趋势已确立 .......................................................5

3文本大模型云端 AI 推理对 GPU 的需求量如何求解？ ..........................................8

4风险提示......................................................................................................................10

图表目录

图表 1：英伟达 FY2024 数据中心推理与训练占比 ...................................................3

图表 2：中国人工智能服务器负载及预测 .................................................................. 3

图表 3：文本大模型云端 AI 推理算力供给需求公式............................................... 3

图表 4：云端 AI 推理需求公式拆解 ............................................................................4

图表 5：大模型训练的 Scaling Law ............................................................................ 4

图表 6：海外主流 AI 大模型训练侧算力供给需求情况 ........................................... 5

图表 7：国内主流 AI 大模型训练侧算力供给需求情况 ........................................... 5

图表 8：云端 AI 推理需求公式进一步拆解 ................................................................5

图表 9：文本大模型网站访问量周度数据（单位：万次） ......................................6

图表 10：文本大模型网站访问量周度数据（单位：万次） ....................................6

图表 11：图片大模型网站访问量周度数据（单位：万次） ....................................6

图表 12：视频大模型网站访问量周度数据（单位：万次） ....................................6

图表 13：OpenAI Platform Tokenizer ........................................................................ 7

图表 14：OpenAI 云端 AI 推理算力需求-供给测算................................................. 9

华福证券

诚信专业发现价值

请务必阅读报告末页的声明

行业专题报告 |电子

1如何测算文本大模型 AI 推理端算力需求？

我们在此前外发报告《如何测算文本大模型 AI 训练端算力需求？》中，对未来

三年 AI 训练卡需求持乐观态度，经过测算，以英伟达 Hopper/Blackwell/下一代 GPU

卡FP16 算力衡量，我们认为 2024-2026 年全球文本大模型 AI 训练侧 GPU 需求量为

271/592/1244 万张。由此我们认为，推理侧算力对训练侧算力需求的承接不意味着训

练需求的趋缓，而是为算力芯片行业贡献第二重驱动力。

推理算力市场已然兴起，24 年AI 推理需求成为焦点。据Wind 转引英伟达

FY24Q4 业绩会纪要，公司 2024 财年数据中心有 40%的收入来自推理业务。放眼国

内，IDC 数据显示，我国 23H1 训练工作负载的服务器占比达到 49.4%，预计全年的

占比将达到 58.7%。随着训练模型的完善与成熟，模型和应用产品逐步投入生产，推

理端的人工智能服务器占比将随之攀升，预计到 2027 年，用于推理的工作负载将达

到72.6%。

图表 1：英伟达 FY2024 数据中心推理与训练占比

图表 2：中国人工智能服务器负载及预测

来源：英伟达财报电话会议纪要，Wind，华福证券研究所

注：按销售收入口径

来源：IDC，《2023-2024 中国人工智能计算力发展评估报告》，华福证券

研究所

如何量化推理算力需求？与训练算力相比，推理侧是否具备更大的发展潜力？

我们整理出 AI 推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趋势，

以此给出我们的判断。需要说明的是，本文将视角聚焦于云端 AI 推理算力，端侧

AI 算力主要由本地设备自带的算力芯片承载。基于初步分析，我们认为核心需要解

决的问题聚焦于需求侧——推理消耗的数据规模如何测算？而供给侧，GPU 性能提

升速度、算力利用率等，我们认为与 AI 训练大致无异。

图表 3：文本大模型云端 AI 推理算力供给需求公式

来源：OpenAI《Scaling Laws for Neural Language Models》，NVIDIA&Stanford University&Microsoft Research《Efficient Large-Scale Language Model Training

on GPU Clusters Using Megatron-LM》，新智元，CIBA 新经济，思瀚产业研究院，极市平台，华福证券研究所

华福证券

资料加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载资料到电脑，查找使用更方便

立即下载 VIP免费下载

标签： #算力 #芯片

本资料由有户自行上传，仅供个人参考学习使用（禁止商用）。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本内容侵犯了原著者的合法权益，可联系我们进行处理。

算力专题研究二：从训练到推理：算力芯片需求的华丽转身-华福证券.pdf

共11页,预览3页

还剩页未读，继续阅读

算力专题研究二：从训练到推理：算力芯片需求的华丽转身-华福证券

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: