大模型方向行业研究报告2023-海伯高斯

VIP专免

3.0 扬帆远航 2024-08-02 131 1.72MB 30 页免费

侵权投诉

大模型方向行业研究报告

Industry Research Report on Large Model Direction

2023

大模型方向行业研究报告

一、大模型行业概览 .....................................................................................................1

(一)大模型的起源 .........................................................................................................1

(二)大模型的定义 .........................................................................................................1

(三)大模型的发展历程 .................................................................................................2

(四)大模型的发展现状 .................................................................................................2

(五)机遇与挑战 .............................................................................................................9

(六)国内外大模型厂商总览 .......................................................................................10

二、大模型人才现状 ...................................................................................................10

(一)人才发展现状 .......................................................................................................11

(二)人才发展建议 .......................................................................................................18

三、国内主要厂商 .......................................................................................................20

(一)百度： ...................................................................................................................20

(二)阿里： ...................................................................................................................22

(三)腾讯： ...................................................................................................................24

(四)字节跳动： ...........................................................................................................25

(五)华为： ...................................................................................................................26

(六)百川智能： ........................................................................................................... 27

四、结语 .......................................................................................................................28

大模型方向行业研究报告

2023.11 HyperGrowthManagementConsulting www.hyper-g.com.cn

一、大模型行业概览

(一)大模型的起源

大模型的起源可以追溯到 2012 年。当时，深度学习领域取得了两个重要的突破：

AlexNet

和GPU 的应用。

AlexNet 是一个包含 5000 万个参数的深度卷积神经网络，它在 ImageNet

图像分类竞赛中取得了很好的成绩。同时，GPU 的应用也为大模型的训练提供了强大

的计算能力。这两个突破为大模型的快速发展奠定了基础。

2017 年，谷歌提出了 Transformer 结构，该结构成为了自然语言处理领域的重要里程

碑。Transformer 结构包含亿级别的参数，具有强大的语言理解能力，为自然语言处理

领域带来了突破性的进展。

随着计算能力的提升和算法的优化，越来越多的公司和机构开始投入到大模型的研究

中。2018 年，脸书推出了 Facebook AI 大模型（又称 ERNIE-Health），该模型包含 33 亿

个参数，用于医疗健康领域的知识问答任务。2019 年，谷歌推出了 Switch Transformer

模型，该模型包含 1.6 万亿个参数，成为了目前最大的 NLP 模型之一。

(二)大模型的定义

1. 大模型的概念

大模型是指具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模

型通常是指具有数百万到数十亿参数的神经网络模型。一般来讲，参数量超过 10 亿、

具备泛化能力的模型，可以被称为大模型。

图1：

大模型的概念

资料来源：百度：关于大模型的定义，海伯高斯研究团队整理

资料加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载资料到电脑，查找使用更方便

立即下载 VIP免费下载

标签： #研究报告 #大模型

本资料由有户自行上传，仅供个人参考学习使用（禁止商用）。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本内容侵犯了原著者的合法权益，可联系我们进行处理。

大模型方向行业研究报告2023-海伯高斯.pdf

共30页,预览3页

还剩页未读，继续阅读

大模型方向行业研究报告2023-海伯高斯

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: