课程介绍
课程章节
章节1: PEFT 大模型高效微调理论 (5节)

课时01

微调、提示词工程、RAG 均为提高大模型质量的技术手段

更新时间:2024-08-22

10分15秒

课时02

传统大模型训练(微调)流程

更新时间:2024-08-22

10分2秒

课时03

微调与 RAG 区别、微调的优势

更新时间:2024-08-22

11分17秒

课时04

指令数据集构造方式

更新时间:2024-08-22

8分54秒

课时05

PEFT 与传统微调区别、PEFT 不同方法

更新时间:2024-08-22

8分54秒

章节2: PEFT 之整体流程代码实战 + BitFit 算法实现 (8节)

课时06

模块导入与加载数据集

更新时间:2024-08-23

14分21秒

课时07

分词器的加载与使用

更新时间:2024-08-23

10分12秒

课时08

构建训练所需样本格式

更新时间:2024-08-23

10分10秒

课时09

调用封装好的函数对数据预处理

更新时间:2024-08-23

6分31秒

课时10

加载模型、统计模型参数量

更新时间:2024-08-23

10分25秒

课时11

Bitfit 算法实现

更新时间:2024-08-23

7分9秒

课时12

配置训练参数、创建训练器及训练

更新时间:2024-08-23

12分58秒

课时13

查看显存在程序执行过程中的变化

更新时间:2024-08-23

12分45秒

章节3: PEFT 之 Prompt Tuning 理论 + 实战 (10节)

课时14

理解 Soft Prompt Learning

更新时间:2024-08-26

10分17秒

课时15

Task-Specific Soft Prompt

更新时间:2024-08-26

7分32秒

课时16

Virtual Tokens 的初始化

更新时间:2024-08-26

7分43秒

课时17

Virtual Tokens 的训练

更新时间:2024-08-26

10分17秒

课时18

高效的多任务 Serving

更新时间:2024-08-26

10分23秒

课时19

Prompt Tuning 的特性及优缺点

更新时间:2024-08-26

13分38秒

课时20

实战创建 config 和 peft 模型

更新时间:2024-08-27

14分55秒

课时21

输入文本作为初始化参数以及训练

更新时间:2024-08-27

9分45秒

课时22

使用模型进行推理

更新时间:2024-08-27

7分8秒

课时23

加载已有 checkpoint 进行模型推理

更新时间:2024-08-27

7分54秒

章节4: PEFT 之 P-Tuning 理论 + 实战 (3节)

课时24

理解 P-Tuning

更新时间:2024-08-29

6分0秒

课时25

设置 PromptEncoderConfig 与查看 PromptEncoder 源码

更新时间:2024-08-29

10分22秒

课时26

P-Tuning 模型训练和推理

更新时间:2024-08-29

8分19秒

章节5: PEFT 之 Prefix Tuning 理论 + 实战 (3节)

课时27

掌握 Prefix-tuning 原理

更新时间:2024-08-29

10分10秒

课时28

Prefix-tuning 只会影响 MHA 中的 K 和 V

更新时间:2024-08-29

3分3秒

课时29

Prefix-tuning 配置以及模型训练

更新时间:2024-08-29

19分5秒

章节6: PEFT 之 LoRA 理论 + 实战 (3节)

课时30

LoRA 的设计思想是学习 ΔW

更新时间:2024-08-30

8分7秒

课时31

Low-Rank 低秩分解与上线时的模型融合

更新时间:2024-08-30

15分39秒

课时32

LoRA 配置与模型训练

更新时间:2024-08-30

17分55秒

章节7: PEFT 之 IA3 理论 + 实战 (3节)

课时33

用一张图总结讲过的 PEFT 方法

更新时间:2024-09-02

10分51秒

课时34

理解 IA3

更新时间:2024-09-02

7分0秒

课时35

IA3 代码实战

更新时间:2024-09-02

12分32秒

章节8: PEFT 进阶操作 (5节)

课时36

自定义模型的 PEFT 微调

更新时间:2024-09-02

5分46秒

课时37

多适配器的加载

更新时间:2024-09-02

7分21秒

课时38

多适配器间切换

更新时间:2024-09-02

11分14秒

课时39

禁用适配器以得到原始模型输出

更新时间:2024-09-02

3分6秒

课时40

适配器与大模型的 merge 融合

更新时间:2024-09-03

13分40秒

您没有该体系课权限,需要开通权限请点击联系老师。
联系老师
个问题,0回答
提问
暂无提问,赶紧去提问吧~