威斯康星深度学习和生成模型导论-学习资料
威斯康星深度学习和生成模型导论课程,内容覆盖深度学习、计算机视觉、自然语言处理、强化学习等

关键词标签: 深度学习, 计算机视觉, 自然语言处理, 强化学习

课程介绍

STAT453是威斯康星大学Sebastian Raschka老师讲授的深度学习和生成模型课程,课程从机器学习与深度学习的基础知识开始,给大家系统讲解了深度学习及其在视觉与文本数据中的典型模型与各种应用,并以pytorch为主AI框架进行了实战代码讲解。课程对于帮助大家在深度学习知识储备与实战能力构建都有很大帮助。

课程覆盖的核心知识点包括 人工神经元、多层网络、Python、向量化、NumPy、PyTorch、梯度下降、Google Colab、过拟合和欠拟合、CNN、循环神经网络、长短期记忆、降维、GAN、注意力机制、自注意力、多头注意力、Transformer、BERT、GPT、BART、语言模型、Few-Shot、DistilBert 等。


课时编号 课时内容
第1.0讲 深度学习介绍&课程介绍
第1.1.1讲 课程概述第 1 部分:动机和主题
第1.1.2讲 课程概述第 2 部分:组织
第1.2讲 什么是机器学习?
第1.3.1讲 ML 的广泛类别第 1 部分:监督学习
第1.3.2讲 ML 的广泛类别第 2 部分:无监督学习
第1.3.3讲 ML 的广泛类别第 3 部分:强化学习
第1.3.4讲 ML 的广泛类别第 4 部分:监督学习的特殊案例
第1.4讲 监督学习工作流程
第1.5讲 机器学习符号和专有名词
第1.6讲 关于本课程中使用的实践方面和工具
第2.0讲 深度学习简史【课程概述】
第2.1讲 人工神经元
第2.2讲 多层网络
第2.3讲 深度学习的起源
第2.4讲 深度学习硬件和软件一览
第2.5讲 深度学习的当前趋势
第3.0讲 感知器讲座概述
第3.1讲 关于大脑和神经元
第3.2讲 感知器学习规则
第3.3讲 Python 中的向量化
第3.4讲 Python 中使用 NumPy 和 PyTorch 构建感知器
第3.5讲 感知器背后的几何直觉
第4.0讲 深度学习的线性代数【课程概述】
第4.1讲 深度学习中的张量
第4.2讲 PyTorch 中的张量
第4.3讲 向量、矩阵和广播
第4.4讲 神经网络的符号约定
第4.5讲 PyTorch 中的全连接(线性)层
第5.0讲 梯度下降【课程概述】
第5.1讲 在线、批处理和小批量模式
第5.2讲 感知器和线性回归之间的关系
第5.3讲 线性回归的迭代训练算法
第5.4- (选修)微积分复习 I讲 导数
第5.5- (选修)微积分复习 II讲 梯度
第5.6讲 理解梯度下降
第5.7讲 训练自适应线性神经元 (Adaline)
第5.8讲 Adaline 代码示例
第6.0讲 PyTorch 中的自动微分【课程概述】
第6.1讲 了解有关 PyTorch 的更多信息
第6.2讲 理解基于计算图的自动微分
第6.3讲 PyTorch 中的自动微分
第6.4讲 使用 PyTorch 训练 ADALINE
第6.5讲 深入了解 PyTorch API
第7.0讲 GPU 资源和 Google Colab
第8.0讲 逻辑回归【课程概述】
第8.1讲 逻辑回归作为单层神经网络
第8.2讲 逻辑回归损失函数
第8.3讲 Logistic 回归损失导数和训练
第8.4讲 Logits 和交叉熵
第8.5- PyTorch 中的逻辑回归 讲 代码示例
第8.6讲 多项 Logistic 回归/Softmax 回归
第8.7.1讲 OneHot 编码和多类别交叉熵
第8.7.2讲 OneHot 编码和多类别交叉熵代码示例
第8.8讲 梯度下降的 Softmax 回归导数
第8.9讲 使用 PyTorch 的 Softmax 回归代码示例
第9.0讲 多层感知器【课程概述】
第9.1讲 多层感知器结构
第9.2讲 非线性激活函数
第9.3.1讲 多层感知器代码第 1/3 部分(幻灯片概述)
第9.3.2讲 PyTorch Part 2/3 中的多层感知器(Jupyter Notebook)
第9.3.3讲 PyTorch 第 3/3 部分中的多层感知器(脚本设置)
第9.4讲 过拟合和欠拟合
第9.5.1讲 猫狗和自定义数据加载器
第9.5.2讲 PyTorch 中的自定义数据加载器(代码示例)
第10.0讲 神经网络的正则化方法【课程概述】
第10.1讲 减少过拟合的技术
第10.2讲 PyTorch 中的数据增强
第10.3讲 提前停止
第10.4讲 神经网络的 L2 正则化
第10.5.1讲 Dropout 背后的主要概念
第10.5.2讲 Dropout 共适应解释
第10.5.3讲 (选修)Dropout 集成解释
第10.5.4讲 PyTorch 中的 Dropout
第11.0讲 输入归一化和权重初始化【课程概述】
第11.1讲 输入规范化
第11.2讲 BatchNorm 的工作原理
第11.3讲 PyTorch 中的 BatchNorm
第11.4讲 为什么 BatchNorm 有效
第11.5- 权重初始化 讲 我们为什么要关心?
第11.6讲 Xavier Glorot 和 Kaiming He 初始化
第11.7讲 PyTorch 中的权重初始化
第12.0讲 改进基于梯度下降的优化【课程概述】
第12.1讲 学习率衰减
第12.2讲 PyTorch 中的学习率调度器
第12.3讲 具有动量的新元
第12.4讲 Adam:结合自适应学习率和动量
第12.5讲 在 PyTorch 中选择不同的优化器
第12.6讲 关于优化算法的附加主题和研究
第13.0讲 卷积网络简介【课程概述】
第13.1讲 CNN 的常见应用
第13.2讲 图像分类的挑战
第13.3讲 卷积神经网络基础
第13.4讲 卷积滤波器和权重共享
第13.5讲 互相关与卷积
第13.6讲 CNN 和反向传播
第13.7讲 CNN 架构和 AlexNet
第13.8讲 CNN 能看到什么
第13.9.1讲 PyTorch 中的 LeNet-5
第13.9.2讲 在 PyTorch 中保存和加载模型
第13.9.3讲 PyTorch 中的 AlexNet
第14.0讲 卷积神经网络架构【课程概述】
第14.1讲 卷积和填充
第14.2讲 空间丢失和 BatchNorm
第14.3讲 架构概述
第14.3.1.1讲 VGG16 概述
第14.3.1.2讲 PyTorch 中的 VGG16
第14.3.2.1讲 ResNet 概述
第14.3.2.2讲 PyTorch 中的 ResNet-34
第14.4.1讲 用卷积层代替最大池化
第14.4.2讲 PyTorch 中的全卷积网络
第14.5讲 卷积而不是全连接层
第14.6.1讲 迁移学习
第14.6.2讲 PyTorch 中的迁移学习
第15.0讲 循环神经网络简介【课程概述】
第15.1讲 处理文本数据的不同方法
第15.2讲 使用 RNN 进行序列建模
第15.3讲 不同类型的序列建模任务
第15.4讲 时间反向传播概述
第15.5讲 长短期记忆
第15.6讲 用于分类的 RNN:多对一结构RNN
第15.7讲 PyTorch 中的 RNN 情感分类器
第16.0讲 自编码器简介【课程概述】
第16.1讲 降维
第16.2讲 完全连接的自编码器
第16.3讲 卷积自编码器和转置卷积
第16.4讲 PyTorch 中的卷积自动编码器
第16.5讲 其他类型的自动编码器
第17.0讲 变分自编码器简介【课程概述】
第17.1讲 变分自编码器概述
第17.2讲 从变分自动编码器采样
第17.3讲 Log-Var 技巧
第17.4讲 变分自编码器损失函数
第17.5讲 PyTorch 中手写数字的变分自动编码器
第17.6讲 PyTorch 中人脸图像的变分自动编码器
第17.7讲 PyTorch 中的 VAE 潜在空间算法
第18.0讲 生成对抗网络简介
第18.1讲 GAN 背后的主要思想
第18.2讲 GAN 目标
第18.3讲 为实际使用修改 GAN 损失函数
第18.4讲 在 PyTorch 中生成手写数字的 GAN
第18.5讲 让 GAN 发挥作用的技巧和窍门
第18.6讲 在 PyTorch 中生成人脸图像的 DCGAN
第19.0讲 用于序列到序列建模的 RNN 和转换器
第19.1讲 使用单词和字符 RNN 生成序列
第19.2.1讲 在 PyTorch 中实现字符 RNN(概念)
第19.2.2讲 在 PyTorch 中实现字符 RNN(代码示例)
第19.3讲 具有注意力机制的 RNN
第19.4.1讲 在没有 RNN 的情况下使用注意力:一种基本的自我注意力形式
第19.4.2讲 自注意力和缩放点积注意力
第19.4.3讲 多头注意力
第19.5.1讲 Transformer 架构
第19.5.2.1讲 一些流行的Transformer 模型:BERT、GPT 和 BART【概述】
第19.5.2.2讲 GPT-v1:成式预训练transformer
第19.5.2.3- BERT讲 来自transformer的双向编码器表示
第19.5.2.4讲 GPT-v2:语言模型是无监督的多任务学习者
第19.5.2.5讲 GPT-v3:语言模型是少数据学习器(Few-Shot Learner)
第19.5.2.6- BART讲 结合双向和自回归transformer
第19.5.2.7- 结束语 讲 transformers的近期增长趋势
第19.6讲 基于PyTorch 的 DistilBert 电影评论分类器

ShowMeAI课程解读:全套资料

更多技术与课程清单 | 点击查看详细课程

技术方向 课程及链接
计算机数学基础 MIT-计算机科学的数学基础
辛辛那提大学-微积分I
辛辛那提大学-微积分II
辛辛那提大学-离散数学
斯坦福-线性代数与矩阵方法导论
计算机科学导论 斯坦福-计算机科学导论
哈佛-计算机科学导论
MIT-计算机科学与Python编程导论
数据结构与算法 MIT-数据结构与算法设计
马里兰大学-数据结构
数据库 CMU-数据库系统导论
CMU-数据库系统进阶
机器学习及应用 斯坦福CS229
MIT-机器学习导论
深度学习及应用 斯坦福CS230
哈佛-Python人工智能入门
MIT-深度学习导论
李宏毅-机器学习(&深度学习)
应用深度学习(全知识点覆盖)
UC Berkeley-深度神经网络设计、可视化与理解
威斯康星-深度学习和生成模型导论
UC Berkeley-全栈深度学习训练营
自然语言处理 斯坦福CS224n(深度学习与NLP)
斯坦福CS124(从语言到信息)
斯坦福CS520(知识图谱)
马萨诸塞-自然语言处理进阶
计算机视觉 斯坦福CS231n(深度学习与CV)
密歇根eecs498(CS231n进阶课)
慕尼黑工大adl4cv(深度学习与CV高阶课)
多模态 CMU-多模态机器学习
图机器学习 斯坦福CS224w
强化学习 斯坦福CS234(强化学习)
伯克利CS285(深度强化学习)
无监督学习 伯克利CS294-158(深度无监督学习)
AI与生物医疗 MIT-面向生命科学的深度学习
MIT-基因组学机器学习
MIT-医疗机器学习
图形学与几何 CMU-计算机图形学
AMMI-几何深度学习
其他课程 哈佛-基于Python/JavaScript的web编程
MIT-计算思维导论(Julia)
end
*****
本文作者 韩信子
欢迎关注微信公众号 ShowMeAI研究中心 获取更多资源!