邀请函｜硅谷·中国大模型首届实训营：从大模型理论到市场即用产品研发全栈实训

分类：

行业资讯

作者：

来源：

浏览量

【摘要】：

金秋九月，五城联动，首届大模型实训营开营了！

实训安排

9月16-17日：学习大模型以及大模型预训练；休息消化大模型以及试用、评估llama2中文基础语言大模型。

9月21-23日：行业大模型微调和下游大模型应用开发实战。

9月24日：大模型创新创业周末，(拓尔思、首都在线、北大法宝、京东大模型等）。

Llama官方授权课程，Transformer谷歌8子作者与北大智能学院教授，共同主持设计，前谷歌大模型团队倾情打造的大模型实训课，拥有最新最全的 Llama2 大模型实验环境，硅谷导师、BATJ大厂大模型高级工程师和北大智能学院博士团共同指导。

实训涵盖大模型算法、数据工程、模型预训练工程、模型微调、下游应用开发等大模型全栈研发能力，通过实训培养学员掌握从大模型理论到市场即用产品研发的全栈能力。

基于ChatGPT/GPT4等大语言模型，结合外部数据和工具，开发产业和行业创新应用，迎来了大模型的APP Store时代。Meta公布最新大模型Llama2，包含70 亿、130 亿和 700 亿三种参数类型，可免费用于商业或者研究，相当于大模型的安卓。目前已有不少企业正在考虑将基础模型替换为Llama2。

硅谷中国大模型实训营， 以Llama2为基础模型，搭建A100训练环境，由硅谷大模型导师主讲，一线大厂工程师与高校AI博士生为驻场导师，指导学员实战大模型全过程，系统掌握大模型的训练、模型微调、服务部署和下游应用开发的能力。

实训营亮点

1.课程由谷歌8子作者与北大智能学院教授，国际合作协同设计，前谷歌大模型团队构建模型训练环境和代码框架。

2.双导师：硅谷大模型导师+驻场中国导师(BATJ大厂大模型高级工程师)(北大智能学院博士团)。

3.A100算力资源：参训学员实训期间免费使用硅谷A100算力资源。

4.大模型训练环境：最新最全Llama2大模型实验环境，免除大模型训练微调安装环境复杂性，让学员专注于模型训练实践。

5.大模型全栈内容：动手实践掌握语言大模型算法、数据工程、模型训练工程、模型微调、下游应用开发等全栈研发能力。

6.福利包：参训学员获得中文语料训练微调的Llama2大模型API服务。

7.加入大模型产业交流圈，产学研同行深度交流机会，一线大厂大模型架构师、HR交流反馈，提升职场就业机会，大模型创新创业合作机会。

8.导师项目咨询机会：参训学员可与硅谷导师、北大导师建立项目技术咨询机会。

硅谷导师介绍

Lllia Polosukhin博士

谷歌Transformer作者之一。拥有超过10年的行业经验，TensorFlow的主要贡献者和谷歌核心搜索构建问答能力的团队经理，谷歌变压器研究的合著者。

Nataliya shakhovska 教授，博士

德国维尔茨堡大学教授，利沃夫国立理工大学人工智能系主任、美国加利福尼亚州硅谷大模型公司董事会成员。

Solomiia Liaskovska 博士

英国伦敦金斯顿大学研究员，研究人工智能优化技术，美国硅谷大模型公司顾问委员会成员，美国和欧盟的许多企业项目中担任全职研究员。

Iryna Dumyn博士

硅谷大模型公司首席技术官，大模型课程讲师，提出了机器学习预测下一个词方法的开创性技术，在大模型训练方面拥有丰富的经验。

课程大纲

01 模块一：大语言模型底层原理与预训练工程

自然语言处理

N-grams, CNN, RNN, PLM, LLM

transformers结构

Self-attention机制

Encoder-decoder结构

LLM数据源

数据清洗

分词方法

数据编码化

数据增强

模型参数

模型规模准则

数据与模型的并行化

混合精度训练

数据加载与batch化处理

梯度渐变点

梯度累加

梯度裁剪

迁移学习

批标准化

02 模块二：主流大语言模型发展趋势与核心技术

GPT工作的底层原理

GPT系列模型的发展历程

BERT

T5

PaLM

BLOOM

OPT

PanGu-α

CPM2等

LIama2模型底层原理

LIama2核心源代码含义阐释

LIama分布式项目

序列并行化

使用RMSNorm模块组件的预归一化

SwiGLU激活函数

LIama2在学术基准上的表现评估

LIama2服务API测试

03 模块三：基于LLM的行业大模型预训练实践

收集用于行业级应用的大模型数据

数据源的多样性分析

实战项目中的数据清洗与数据预处理

实战项目中的分词数据

搭建pytorch训练环境框架

搭建适配的硬件环境

设置必要的软件支持库和框架

LIama2的训练代码实战

多GPU并行的训练代码实战

加载已训练的模型，并对全新的输入数据进行推理

评估模型表现

04 模块四：大语言模型微调技术的理论与实践

大语言模型微调核心原理

指令微调

适配器

低秩微调

前缀微调

最后层调整

提示微调

选择模块调整

参数有效性微调

人类正反馈强化学习（RLHF）

监督微调技术

学习率调整

正则化技术

优化器选择

处理领域偏移

其他超参数配置技术

在实践中执行特定任务的微调

05 模块五：LIama2服务部署与下游任务应用

模型优化技术

硬件加速

模型服务

容器化过程

端设备上推理过程

基于云服务的部署

实时推理

推理服务的可扩展性

大语言模型应用部署实战

Langchain 框架和核心原理

Langchain-LLM 系统搭建

Langchain-LLM 系统部署

访问 Langchain-LLM 应用程序

实训方式&算力平台

1.课程算力资源：

30 块英伟达A100

96 vCPU + 1360 GB 内存

30 NVIDIA A100 40GB

10 GB balanced persistent disk

2.Llama2大模型及数据集

3.大模型开发环境

课程实训，学员需要自备电脑并安装Chrome/Firefox/Safari/IE等浏览器，支持Windows/MacOS/Linux等系统。

实训费用

A类学员：公司核心骨干、高管，39800元

B类学员：高校和研究人员，36000元

C类学员：在校学生（本硕博），33000元

3人（含）团购价：每人优惠2000元

费用含培训费、资料费、指导费、场地费、算力费、发票费。差旅费、食宿费自理。

本次实训提供的算力环境价值15万美元。

企业报名人数≥10可开专场，培训地点可设置在企业。

扫码即可报名

报名截止时间：2023年9月15日24:00

首届开营时间：2023年9月16-24日

地点：北京/郑州/南京/成都/广州五城联动

邀请函｜7月13日大连2023达索系统航空航天及船舶与海洋工程行业数字化转型高峰论坛