马萨诸塞自然语言处理进阶-学习资料

马萨诸塞自然语言处理进阶课程，内容覆盖PyTorch、注意力、transformer、seq2seq、迁移学习、BERT、问答系统、GPT-3、文本生成、模型蒸馏、语言模型、视觉与语言模型、语义解析、知识推理等

课程介绍

自然语言处理 (NLP) 是一门关于如何教计算机理解人类语言的工程艺术和科学。NLP 作为一种人工智能技术，现在已经无处不在——我们可以与手机交谈、使用网络回答问题、在社交媒体中讨论，甚至在人类语言之间进行翻译。

CS685 马萨诸塞大学 NLP 进阶课程，广泛关注自然语言处理的深度学习方法，详细讲解前沿技术点与典型应用。课程重点是神经语言模型和迁移学习——这两者都极大地推动了最先进的技术。

课程基于 Pytorch 完成代码案例讲解，涵盖建模架构、训练目标和下游任务。手写重点与手敲代码的授课风格，能帮助大家更好地深入掌握相关知识。

课程适用于有兴趣了解 NLP 前沿研究进展和熟悉机器学习基础知识的计算机科学 / 语言学研究生。

课程讲师 Mohit Iyyer，是马萨诸塞大学计算机科学助理教授，研究领域为自然语言处理和机器学习，致力于使用深度学习在话语级别对语言进行建模。

课程主题

课程官网发布了课程主题，ShowMeAI 对其进行了翻译。

• Language modeling（语言模型）
• Neural language models（神经语言模型）
• Backpropagation（反向传播）
• Implementing a neural language model in PyTorch（在 PyTorch 中实现神经语言模型）
• Attention mechanisms（注意力机制）
• Transformers and sequence-to-sequence models（transformer和序列到序列模型）
• Transfer learning for NLP（NLP 的迁移学习）
• BERT（BERT）
• Question answering（问答系统）
• Better BERTs（BERT变种）
• Scaling up language modeling & GPT-3（扩展语言模型规模和 GPT-3）
• Text generation decoding and evaluation（文本生成解码和评估）
• Paraphrase generation（释义生成）
• Crowdsourced text data collection（众包文本数据收集）
• Model distillation and security threats（模型蒸馏和抽取）
• Retrieval-augmented language models（基于检索增强的语言模型）
• Implementing a Transformer（实现transformer）
• vision + language（视觉与语言模型）
• semantic parsing（语义解析）

课程资料 | 下载

扫描上方图片二维码，关注公众号并回复关键字 🎯『CS685』，就可以获取整理完整的资料合辑啦！当然也可以点击 🎯 这里 查看更多课程的资料获取方式！

ShowMeAI 对课程资料进行了梳理，整理成这份完备且清晰的资料包：

• 📚 课件&笔记。PDF文件。覆盖Lecture 1~21全部章节。
• 📚 拓展阅读材料。PDF文件。20+课程推荐学习的相关论文。

课程视频 | B站

ShowMeAI 将视频上传至B站，并增加了中英双语字幕，以提供更加友好的学习体验。点击页面视频，可以进行预览。推荐前往 👆 B站 观看完整课程视频哦！

本门课程，ShowMeAI 将部分章节进行了切分，按照主题形成更短小的视频片段，便于按照标题进行更快速的检索。切分后的视频清单列写在这里：

更多技术与课程清单 | 点击查看详细课程