马萨诸塞自然语言处理进阶-学习资料
马萨诸塞自然语言处理进阶课程,内容覆盖PyTorch、注意力、transformer、seq2seq、迁移学习、BERT、问答系统、GPT-3、文本生成、模型蒸馏、语言模型、视觉与语言模型、语义解析、知识推理等

关键词标签: PyTorch, 注意力, transformer, seq2seq, 迁移学习, BERT, 问答系统, GPT-3, 文本生成, 模型蒸馏, 语言模型, 语义解析, 知识推理

课程介绍

CS685是马萨诸塞大学Mohit Iyyer老师讲解的NLP进阶课程,课程详细讲解了NLP方向的前沿技术点(注意力机制、transformer、BERT、GPT-3等)与典型应用(语言模型、文本生成、问答系统、视觉NLP应用)。

课程基于Pytorch完成代码案例讲解。手写重点与手敲代码的授课风格,能帮助大家更好地深入掌握相关知识。


技术方向 课程及链接
第0讲 课程介绍
第1讲 语言模型
第2讲 神经语言模型
第3讲 反向传播
第4讲 在 PyTorch 中实现神经语言模型
第5讲 注意力机制
第6讲 transformer和序列到序列模型
第7.1讲 NLP 的迁移学习
第7.2讲 BERT
第8讲 问答系统
第9讲 下游任务迁移学习
第10讲 BERT变种
第11讲 扩展语言模型规模和 GPT-3
第12讲 文本生成解码和评估
第13讲 释义生成
第14讲 众包文本数据收集
第15讲 模型蒸馏和抽取
第16.1讲 基于检索增强的语言模型
第16.2讲 实现transformer
第17讲 视觉与语言模型
第18讲 NLP 伦理学
第19讲 探测任务
第20讲 语义解析
第21讲 [客座讲座] 常识推理 (Lorraine Li)

ShowMeAI课程解读:全套资料

更多技术与课程清单 | 点击查看详细课程

技术方向 课程及链接
计算机数学基础 MIT-计算机科学的数学基础
辛辛那提大学-微积分I
辛辛那提大学-微积分II
辛辛那提大学-离散数学
斯坦福-线性代数与矩阵方法导论
计算机科学导论 斯坦福-计算机科学导论
哈佛-计算机科学导论
MIT-计算机科学与Python编程导论
数据结构与算法 MIT-数据结构与算法设计
马里兰大学-数据结构
数据库 CMU-数据库系统导论
CMU-数据库系统进阶
机器学习及应用 斯坦福CS229
MIT-机器学习导论
深度学习及应用 斯坦福CS230
哈佛-Python人工智能入门
MIT-深度学习导论
李宏毅-机器学习(&深度学习)
应用深度学习(全知识点覆盖)
UC Berkeley-深度神经网络设计、可视化与理解
威斯康星-深度学习和生成模型导论
UC Berkeley-全栈深度学习训练营
自然语言处理 斯坦福CS224n(深度学习与NLP)
斯坦福CS124(从语言到信息)
斯坦福CS520(知识图谱)
马萨诸塞-自然语言处理进阶
计算机视觉 斯坦福CS231n(深度学习与CV)
密歇根eecs498(CS231n进阶课)
慕尼黑工大adl4cv(深度学习与CV高阶课)
多模态 CMU-多模态机器学习
图机器学习 斯坦福CS224w
强化学习 斯坦福CS234(强化学习)
伯克利CS285(深度强化学习)
无监督学习 伯克利CS294-158(深度无监督学习)
AI与生物医疗 MIT-面向生命科学的深度学习
MIT-基因组学机器学习
MIT-医疗机器学习
图形学与几何 CMU-计算机图形学
AMMI-几何深度学习
其他课程 哈佛-基于Python/JavaScript的web编程
MIT-计算思维导论(Julia)
end
*****
本文作者 韩信子
欢迎关注微信公众号 ShowMeAI研究中心 获取更多资源!