威斯康星深度学习和生成模型导论-学习资料
威斯康星深度学习和生成模型导论课程,内容覆盖深度学习、计算机视觉、自然语言处理、强化学习等

关键词标签: 深度学习, 计算机视觉, 自然语言处理, 强化学习
STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论
🏆 课程学习中心 | 🚧 深度学习课程合辑 | 🌍 课程主页 | 📺 中英字幕视频 | 🚀 项目代码解析
Intro to Deep Learning and Generative Models
深度学习和生成模型导论
University of Wisconsin System
威斯康星大学
STAT453
⭐⭐⭐⭐⭐


课程介绍

STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论

深度学习是一个专门研究发现和提取大型非结构化数据集中复杂结构的领域,用于对多层人工神经网络进行参数化。由于深度学习推动了许多研究和应用领域的最新发展,它已成为现代技术不可或缺的部分。

STAT453 课程的重点是通过将人工神经网络与统计学中的相关概念(如广义线性模型和最大似然估计)联系起来,深入理解人工神经网络。除了涵盖预测建模的深度学习模型外,本课程的后一部分将侧重于深度生成模型和基于随机变分推理的模型,这允许学习定向概率模型。

除了在数学和概念层面上涵盖和解释深度学习和生成模型外,本课程还强调深度学习的实践方面。Python科学计算开放源码生态系统的开放源码库将用于为学生提供实践经验,以实现深层神经网络,完成有监督的学习任务,并将生成模型应用于数据集合成。

STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论

课程学习结束后,学生能够掌握各类深度学习算法原理及其优缺点,深入理解深度学习和生成模型——这是当前预测建模最先进的方法,并掌握使用Python编程来解决现实问题的能力。课程对于构建深度学习知识储备与实战能力有很大帮助。

本门课程学习建议具有微积分和线性代数背景,强烈建议学生熟悉基本编程并已完成入门编程课程。

STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论

课程讲师 Sebastian Raschka 是威斯康辛大学麦迪逊分校统计学助理教授,专注于机器学习和深度学习研究,包括深度学习方法的开发和对计算机视觉和计算生物学的应用,初版了多门机器学习相关著作。


课程主题

STAT453 是威斯康星大学的深度学习和生成模型课程,从机器学习与深度学习的基础知识开始,给大家系统讲解了深度学习及其在视觉与文本数据中的典型模型与各种应用,并以 PyTorch 为主 AI 框架进行了实战代码讲解。课程官网发布了课程主题,ShowMeAI 对其进行了翻译。


课程资料 | 下载

STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论

扫描上方图片二维码,关注公众号并回复关键字 🎯『STAT453』,就可以获取整理完整的资料合辑啦!当然也可以点击 🎯 这里 查看更多课程的资料获取方式!

STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论

ShowMeAI 对课程资料进行了梳理,整理成这份完备且清晰的资料包:


课程视频 | B站

🌍 B站 | 【双语字幕+资料下载】威斯康星 STAT453 | 深度学习和生成模型导论(2021最新·完整版)

ShowMeAI 将视频上传至B站,并增加了中英双语字幕,以提供更加友好的学习体验。点击页面视频,可以进行预览。推荐前往 👆 B站 观看完整课程视频哦!

本门课程,ShowMeAI 将部分章节进行了切分,按照主题形成更短小的视频片段,便于按照标题进行更快速的检索。视频数量很多,为方便大家检索(查找某主题的位置,请使用页面 Ctrl+F 关键字检索功能),依旧将完整清单放在这里:

课时编号 课时内容
第1.0讲 深度学习介绍&课程介绍
第1.1.1讲 课程概述第 1 部分:动机和主题
第1.1.2讲 课程概述第 2 部分:组织
第1.2讲 什么是机器学习?
第1.3.1讲 ML 的广泛类别第 1 部分:监督学习
第1.3.2讲 ML 的广泛类别第 2 部分:无监督学习
第1.3.3讲 ML 的广泛类别第 3 部分:强化学习
第1.3.4讲 ML 的广泛类别第 4 部分:监督学习的特殊案例
第1.4讲 监督学习工作流程
第1.5讲 机器学习符号和专有名词
第1.6讲 关于本课程中使用的实践方面和工具
第2.0讲 深度学习简史【课程概述】
第2.1讲 人工神经元
第2.2讲 多层网络
第2.3讲 深度学习的起源
第2.4讲 深度学习硬件和软件一览
第2.5讲 深度学习的当前趋势
第3.0讲 感知器讲座概述
第3.1讲 关于大脑和神经元
第3.2讲 感知器学习规则
第3.3讲 Python 中的向量化
第3.4讲 Python 中使用 NumPy 和 PyTorch 构建感知器
第3.5讲 感知器背后的几何直觉
第4.0讲 深度学习的线性代数【课程概述】
第4.1讲 深度学习中的张量
第4.2讲 PyTorch 中的张量
第4.3讲 向量、矩阵和广播
第4.4讲 神经网络的符号约定
第4.5讲 PyTorch 中的全连接(线性)层
第5.0讲 梯度下降【课程概述】
第5.1讲 在线、批处理和小批量模式
第5.2讲 感知器和线性回归之间的关系
第5.3讲 线性回归的迭代训练算法
第5.4- (选修)微积分复习 I讲 导数
第5.5- (选修)微积分复习 II讲 梯度
第5.6讲 理解梯度下降
第5.7讲 训练自适应线性神经元 (Adaline)
第5.8讲 Adaline 代码示例
第6.0讲 PyTorch 中的自动微分【课程概述】
第6.1讲 了解有关 PyTorch 的更多信息
第6.2讲 理解基于计算图的自动微分
第6.3讲 PyTorch 中的自动微分
第6.4讲 使用 PyTorch 训练 ADALINE
第6.5讲 深入了解 PyTorch API
第7.0讲 GPU 资源和 Google Colab
第8.0讲 逻辑回归【课程概述】
第8.1讲 逻辑回归作为单层神经网络
第8.2讲 逻辑回归损失函数
第8.3讲 Logistic 回归损失导数和训练
第8.4讲 Logits 和交叉熵
第8.5- PyTorch 中的逻辑回归 讲 代码示例
第8.6讲 多项 Logistic 回归/Softmax 回归
第8.7.1讲 OneHot 编码和多类别交叉熵
第8.7.2讲 OneHot 编码和多类别交叉熵代码示例
第8.8讲 梯度下降的 Softmax 回归导数
第8.9讲 使用 PyTorch 的 Softmax 回归代码示例
第9.0讲 多层感知器【课程概述】
第9.1讲 多层感知器结构
第9.2讲 非线性激活函数
第9.3.1讲 多层感知器代码第 1/3 部分(幻灯片概述)
第9.3.2讲 PyTorch Part 2/3 中的多层感知器(Jupyter Notebook)
第9.3.3讲 PyTorch 第 3/3 部分中的多层感知器(脚本设置)
第9.4讲 过拟合和欠拟合
第9.5.1讲 猫狗和自定义数据加载器
第9.5.2讲 PyTorch 中的自定义数据加载器(代码示例)
第10.0讲 神经网络的正则化方法【课程概述】
第10.1讲 减少过拟合的技术
第10.2讲 PyTorch 中的数据增强
第10.3讲 提前停止
第10.4讲 神经网络的 L2 正则化
第10.5.1讲 Dropout 背后的主要概念
第10.5.2讲 Dropout 共适应解释
第10.5.3讲 (选修)Dropout 集成解释
第10.5.4讲 PyTorch 中的 Dropout
第11.0讲 输入归一化和权重初始化【课程概述】
第11.1讲 输入规范化
第11.2讲 BatchNorm 的工作原理
第11.3讲 PyTorch 中的 BatchNorm
第11.4讲 为什么 BatchNorm 有效
第11.5- 权重初始化 讲 我们为什么要关心?
第11.6讲 Xavier Glorot 和 Kaiming He 初始化
第11.7讲 PyTorch 中的权重初始化
第12.0讲 改进基于梯度下降的优化【课程概述】
第12.1讲 学习率衰减
第12.2讲 PyTorch 中的学习率调度器
第12.3讲 具有动量的新元
第12.4讲 Adam:结合自适应学习率和动量
第12.5讲 在 PyTorch 中选择不同的优化器
第12.6讲 关于优化算法的附加主题和研究
第13.0讲 卷积网络简介【课程概述】
第13.1讲 CNN 的常见应用
第13.2讲 图像分类的挑战
第13.3讲 卷积神经网络基础
第13.4讲 卷积滤波器和权重共享
第13.5讲 互相关与卷积
第13.6讲 CNN 和反向传播
第13.7讲 CNN 架构和 AlexNet
第13.8讲 CNN 能看到什么
第13.9.1讲 PyTorch 中的 LeNet-5
第13.9.2讲 在 PyTorch 中保存和加载模型
第13.9.3讲 PyTorch 中的 AlexNet
第14.0讲 卷积神经网络架构【课程概述】
第14.1讲 卷积和填充
第14.2讲 空间丢失和 BatchNorm
第14.3讲 架构概述
第14.3.1.1讲 VGG16 概述
第14.3.1.2讲 PyTorch 中的 VGG16
第14.3.2.1讲 ResNet 概述
第14.3.2.2讲 PyTorch 中的 ResNet-34
第14.4.1讲 用卷积层代替最大池化
第14.4.2讲 PyTorch 中的全卷积网络
第14.5讲 卷积而不是全连接层
第14.6.1讲 迁移学习
第14.6.2讲 PyTorch 中的迁移学习
第15.0讲 循环神经网络简介【课程概述】
第15.1讲 处理文本数据的不同方法
第15.2讲 使用 RNN 进行序列建模
第15.3讲 不同类型的序列建模任务
第15.4讲 时间反向传播概述
第15.5讲 长短期记忆
第15.6讲 用于分类的 RNN:多对一结构RNN
第15.7讲 PyTorch 中的 RNN 情感分类器
第16.0讲 自编码器简介【课程概述】
第16.1讲 降维
第16.2讲 完全连接的自编码器
第16.3讲 卷积自编码器和转置卷积
第16.4讲 PyTorch 中的卷积自动编码器
第16.5讲 其他类型的自动编码器
第17.0讲 变分自编码器简介【课程概述】
第17.1讲 变分自编码器概述
第17.2讲 从变分自动编码器采样
第17.3讲 Log-Var 技巧
第17.4讲 变分自编码器损失函数
第17.5讲 PyTorch 中手写数字的变分自动编码器
第17.6讲 PyTorch 中人脸图像的变分自动编码器
第17.7讲 PyTorch 中的 VAE 潜在空间算法
第18.0讲 生成对抗网络简介
第18.1讲 GAN 背后的主要思想
第18.2讲 GAN 目标
第18.3讲 为实际使用修改 GAN 损失函数
第18.4讲 在 PyTorch 中生成手写数字的 GAN
第18.5讲 让 GAN 发挥作用的技巧和窍门
第18.6讲 在 PyTorch 中生成人脸图像的 DCGAN
第19.0讲 用于序列到序列建模的 RNN 和转换器
第19.1讲 使用单词和字符 RNN 生成序列
第19.2.1讲 在 PyTorch 中实现字符 RNN(概念)
第19.2.2讲 在 PyTorch 中实现字符 RNN(代码示例)
第19.3讲 具有注意力机制的 RNN
第19.4.1讲 在没有 RNN 的情况下使用注意力:一种基本的自我注意力形式
第19.4.2讲 自注意力和缩放点积注意力
第19.4.3讲 多头注意力
第19.5.1讲 Transformer 架构
第19.5.2.1讲 一些流行的Transformer 模型:BERT、GPT 和 BART【概述】
第19.5.2.2讲 GPT-v1:成式预训练transformer
第19.5.2.3- BERT讲 来自transformer的双向编码器表示
第19.5.2.4讲 GPT-v2:语言模型是无监督的多任务学习者
第19.5.2.5讲 GPT-v3:语言模型是少数据学习器(Few-Shot Learner)
第19.5.2.6- BART讲 结合双向和自回归transformer
第19.5.2.7- 结束语 讲 transformers的近期增长趋势
第19.6讲 基于PyTorch 的 DistilBert 电影评论分类器


更多技术与课程清单 | 点击查看详细课程

合辑 课程链接
CS数学基础课程合辑 【ENGR108】Stanford斯坦福 · 线性代数与矩阵方法导论课程
【6.042J】MIT麻省理工 · 计算机科学的数学基础课程
【MATH100】辛辛那提大学 · 微积分Ⅰ课程
【MATH101】辛辛那提大学 · 微积分Ⅱ课程
【MATH1071】辛辛那提大学 · 离散数学课程
计算机基础课程合辑 【14-455】CMU卡内基梅隆 · 数据库系统导论课程
【15-721】CMU卡内基梅隆 · 数据库系统进阶课程
【CS105】Stanford斯坦福 · 计算机科学导论课程
【CS50-CS】Harvard哈佛 · 计算机科学导论课程
【CS50-WEB】Harvard哈佛 · 基于Python / JavaScript的Web编程课程
【6.0001】MIT麻省理工 · 计算机科学与Python编程导论课程
【6.046J】MIT麻省理工 · 数据结构与算法设计课程
【18.S191】MIT麻省理工 · 计算思维导论(Julia)课程
【CMSC420】马里兰大学 · 数据结构课程
机器学习课程合辑 【AndrewNG-ML】吴恩达 · 机器学习专项课程
【CS229】Stanford斯坦福 · 机器学习课程
【6.036】MIT麻省理工 · 机器学习导论课程
深度学习课程合辑 【AndrewNG-DL】吴恩达 · 深度学习专项课程
【CS230】Stanford斯坦福 · 深度学习课程
【CSW182】Berkeley伯克利 · 深度神经网络设计、可视化与理解课程
【FSDL】Berkeley伯克利 · 全栈深度学习训练营课程
【CS50-AI】Harvard哈佛 · Python人工智能入门课程
【6.S191】MIT麻省理工 · 深度学习导论课程
【APPLY-DL】科罗拉多大学 · 应用深度学习(全知识点覆盖)课程
【STAT453】威斯康星 · 深度学习和生成模型导论课程
【T81-558】WUSTL · 深度神经网络应用案例实操课程
【HYLEE】李宏毅 · 机器学习(&深度学习)课程
NLP课程合辑 【CS224n】Stanford斯坦福 · 深度学习与自然语言处理课程
【CS124】Stanford斯坦福 · 从语言到信息课程
【CS520】Stanford斯坦福 · 知识图谱课程
【CS685】马萨诸塞大学 · 自然语言处理进阶课程
计算机视觉课程合辑 【CS231n】Stanford斯坦福 · 深度学习与计算机视觉课程
【EECS498】Michigan密歇根 · 深度学习与计算机视觉(CS231n进阶课)
【ADL4CV】慕尼黑工大 · 计算机视觉深度学习进阶课
强化学习课程合辑 【CS285】Berkeley伯克利 · 深度强化学习课程
【CS234】Stanford斯坦福 · 强化学习课程
AI生物医疗课程合辑 【6.047】MIT麻省理工 · 基因组学机器学习课程
【6.874】MIT麻省理工 · 面向生命科学的深度学习课程
【6.S897】MIT麻省理工 · 医疗机器学习课程
其他名校AI课程合辑 【CS294】Berkeley伯克利 · 深度无监督学习课程
【11-777】CMU卡内基梅隆 · 多模态机器学习课程
【15-462】CMU卡内基梅隆 · 计算机图形学课程
【CS224W】Stanford斯坦福 · 图机器学习课程
【6.S094】MIT麻省理工 · 深度学习与无人驾驶课程
【GDL】AMMI · 几何深度学习课程
STAT453; Intro to Deep Learning and Generative Models; 深度学习和生成模型导论
*****
本文作者 韩信子
欢迎关注微信公众号 ShowMeAI研究中心 获取更多资源!