课程名称:自然语言处理预训练技术培训

4401 人关注
(78637/99817)
课程大纲:

自然语言处理预训练技术培训

 

 

预训练模型目前在自然语言处理领域得以广泛应用,

课程将围绕 BERT,GPT-2,XLNet 等最前沿的预训练模型技术,

使用基于 PyTorch 开发的 PyTorch-Transformers 预训练模型库进行实践。

1 BERT 预训练模型

2 XLNet 预训练模型

3 文本生成任务

4 GPT-2 预训练模型

5 文本分类任务

6 序列标注任务

1
BERT 预训练模型及文本分类

1.语言模型和词向量

2.BERT结构详解

3.BERT文本分类

1
Kaggle 电影评论情感分析

1.预训练模型使用

2.Kaggle平台使用

2
GPT-2 预训练模型及文本生成

1.GPT2的核心思想

2.GPT2模型结构详解

3.GPT2进行文本生成

2
Kaggle 各国食谱分类比赛

1.预训练模型使用 2.Kaggle平台使用

3
XLNet 预训练模型及命名实体识别

1.XLNet在BERT和GPT2上的改进

2.XLNet模型结构

3.使用XLNet进行命名实体识别实验

3
Quora 文本相似度分析比赛

1.文本相似度问题转换

2.预训练模型使用

3.Kaggle平台使用


登录 后发表评论
最新评论
全部 第1节 第2节 第3节 第4节 第5节 第6节 第7节 第8节 第9节 第10节 第11节 第12节 第13节 第14节 第15节 第16节 第17节
我的报告 / 所有报告