课程大纲:
自然语言处理预训练技术培训
预训练模型目前在自然语言处理领域得以广泛应用,
课程将围绕 BERT,GPT-2,XLNet 等最前沿的预训练模型技术,
使用基于 PyTorch 开发的 PyTorch-Transformers 预训练模型库进行实践。
1 BERT 预训练模型
2 XLNet 预训练模型
3 文本生成任务
4 GPT-2 预训练模型
5 文本分类任务
6 序列标注任务
1
BERT 预训练模型及文本分类
1.语言模型和词向量
2.BERT结构详解
3.BERT文本分类
1
Kaggle 电影评论情感分析
1.预训练模型使用
2.Kaggle平台使用
2
GPT-2 预训练模型及文本生成
1.GPT2的核心思想
2.GPT2模型结构详解
3.GPT2进行文本生成
2
Kaggle 各国食谱分类比赛
1.预训练模型使用 2.Kaggle平台使用
3
XLNet 预训练模型及命名实体识别
1.XLNet在BERT和GPT2上的改进
2.XLNet模型结构
3.使用XLNet进行命名实体识别实验
3
Quora 文本相似度分析比赛
1.文本相似度问题转换
2.预训练模型使用
3.Kaggle平台使用
请
登录
后发表评论
最新评论
全部
第1节
第2节
第3节
第4节
第5节
第6节
第7节
第8节
第9节
第10节
第11节
第12节
第13节
第14节
第15节
第16节
第17节
我的报告 / 所有报告