CS229 | Machine Learning Stanford University 系列内容 Awesome AI Courses Notes Cheat Sheets @ ShowMeAI
[复习]概率统计
/ Probabilities and Statistics Refresher
- 1 -
[
复习
]
概率统计
/ Probabilities and Statistics Refresher
翻译&校正 | 韩信子@
ShowMeAI
编辑 | 南乔@
ShowMeAI
原文作者 |
https://stanford.edu/~shervine
本节原文超链
[1]概率和组合简介 / Introduction to Probability and Combinatorics
░▐ 样本空间 Sample space
一个实验的所有可能结果的集合称为实验的样本空间,记作
░▐ 事件
Event
样本的任
被称个事,一件是含可的集
如果该实验的结果包含在 E 内,那么称
发生。
░▐ 概率论公理
Axioms of probability
对每个事件
,记
为事件
出现的概率:
0 1
=1
=1
=
=1
0 1 0
1
1
出现了的概率1
互相独立的事
1
, . . .
满足
上述公式
░▐ 排列 Permutation
一个排列是从
个对象的池子中抽取
个对象进行排列(考虑顺序)。排列的数目为:
P n,r =
n!
nr !
░▐ 组合
Combination
一个组合是从
个对象的池子中抽取
个对象(无序)。组合的数目为:
, =
,
!
=
!
! !
备注:对于
0 r n
P n, r C n, r
[2]条件概率 / Conditional Probability
░▐ 贝叶斯法则 Bayes' rule
对事件
满足
> 0
有:
| =
|
备注:
P A B = P A P B|A = P A|B P B
░▐ 划分
Partition
令对所有
=
。令
{
, 1, }
,对所有
,称
{
}
为一个划分:
∀ij, A
i
A
j
=∅ 
i=1
n
A
i
=S
备注:对任意在样本空间中的事件
B
P B =
i=1
n
P B|A
i
P A
i
░▐ 贝叶斯法则的扩展形式 Extended form of Bayes' rule
{
, 1, }
为样本空间的一个划分,则有:
P
A
k
|B
=
P
B|A
k
P
A
k
i=1
n
P
B|A
i
P
A
i
░▐ 独立 Independence
当且仅当两个事件
是独立的,有:
=
CS229 | Machine Learning Stanford University 系列内容 Awesome AI Courses Notes Cheat Sheets @ ShowMeAI
[复习]概率统计
/ Probabilities and Statistics Refresher
- 2 -- 2 -
[3]随机变量 / Random Variables
3.1 Definitions
░▐ 随机变量
Random variable
一个随机变量(记作
)是一个函数,将一个样本空间中的每个元素映射到一个实值。
░▐ 累积分布函数 CDF
Cumulative distribution functionCDF
lim
x→−∞
F x =0
lim
x→+∞
F x =1
F x
定义如下:
F x =P Xx
备注:
P
a < X B
= F
b
F
a
░▐ 概率密度函数 PDF
概率密度函数 Probability density function PDF
,表示
在两个相邻随机变量
的实现间取值的概率。
░▐ PDF CDF 的关系 Relationships involving the PDF and CDF
下表总结了二者在离散和连续场景下的重要性质:
类型
CDF F
PDF
PDF 的性质
离散
F x =
x
i
≤x
P X=x
i
f x
j
=P X=x
j
0f
x
j
1
j
f
x
j
=1
连续
F x =
−∞
x
f y dy
f x =
dF
dx
f
x 0
−∞
+∞
f
x dx=1
░▐ 分布的期望和矩 Expectation and Moments of the Distribution
下表总结了期望
、一般期望值
、第
阶矩
和特征函数
在离
散和连续场景下的表达式:
类型
一般期望值
特征函数
离散
i=1
n
g
x
i
f x
i
i=1
n
f
x
i
e
x
i
连续
−∞
+∞

−∞
+∞


░▐ 方差
Variance
随机变量的方差通常记作

2
,是分布函数的扩散性的一个度量函数。定义:
Var =
2
=
2
2
░▐ 标准差 Standard deviation
随机变量的标准差,通常记作,是分布函数扩散性的一个和实际随机变量值单位相当
的度量函数。定义为:
= Var
░▐ 随机变量的变换
Transformation of random variables
令变量
由某个函数联系在一起。记
分别为
的分布函数:
=


░▐ 莱布尼兹积分法则 Leibniz integral rule
的函数,
是可能依赖于
的边界。
∂
 =
∂
∂
 −
∂
∂
+
∂
∂

CS229 | Machine Learning Stanford University 系列内容 Awesome AI Courses Notes Cheat Sheets @ ShowMeAI
[复习]概率统计
/ Probabilities and Statistics Refresher
- 3 -
- 3 -
3.2 概率分布/ Probability Distributions
░▐ 切比雪夫不等式 Chebyshev's inequality
随机变量
的期望值为
。对
, > 0
,下列不等式成立:
P
Xμ
1
k
2
░▐ 主要分布
Main distributions
这里是主要需要记住的分布
分布
概率密度
PDF
特征函数
期望
方差
Var
图示
X
n,p
xnx
qp
x
n
pe
+q
n
np
npq
XPo μ
μ
x
x!
e
−μ
e
μ e
−1
μ
μ
,
1



+
2
2
12
,
1
2
1
2
−
2
−
1
2
2
2
2
Exp

−
1
1

1
1
2
[4]联合分布随机变量 / Jointly Distributed Random Variables
░▐ 边缘密度和累积分布 Marginal density and cumulative distribution
由联合密度概率函数

,可得:
边缘密度函
Marginal density function
累积函数
Cumulative function
离散
=

,

, =
≤
≤

,
连续
=
−∞
+∞

, 

, =
−∞
−∞

',' ''
░▐ 条件密度
Conditional density
关于
的条件密度通常记作
|
定义:
|
=

,
░▐ 独立性 Independence
当两个随机变量
满足如下特性时,称其为互相独立的:

, =
░▐ 协方差
Covariance
两个随机变量
的协方差,记作

2
或者更常见的
Cov ,
定义如下:
Cov ,

2
=
=
░▐ 相关性 Correlation
的标准差,

为随机变量
的相关性,其定义如下:

=

2
备注: 对任何随机变量
X
Y
ρ
XY
∈ −1,1
如果
X
Y
独立,
ρ
XY
= 0
[5]参数估计 / Parameter Estimation
5.1 Definitions
░▐ 随机采样 Random sample
1
, . . . ,
个和
独立同分布的随机变量,随机采样是这些随机变量的集合。
░▐ 预估器 Estimator
预估器是一个函数,用来推断一个统计模型中未知参数值。
░▐ 偏差
Bias
估计器
的偏差,定义为
分布的期望值和真实值间的差距,即:
CS229 | Machine Learning Stanford University 系列内容 Awesome AI Courses Notes Cheat Sheets @ ShowMeAI
[复习]概率统计
/ Probabilities and Statistics Refresher
- 4 -
- 4 -
Bias
=
备注:
E θ
= θ
,估计器被称为无偏的。
5.2 均值估计/ Estimating the Mean
░▐ 样本均值
Sample mean
会用(可随机体参如总
,把
均值记作
,可以通过如下公式计算得到:
=
1
=1
备注: 样本均值是无偏的,
i.e
EX
=μ
░▐ 中心极限定理 Central Limit Theorem
令随机采样
1
, . . . ,
满足均值为
、方差为
2
的分布,则有:
→+∞
 ,
5.3 方差估计/ Estimating the variance
░▐ 样本方差
Sample variance
会用本统(可为随机抽估计参数
[
比如体方
2
]
,把
方差记作
2
或者
2
,可以通过如下公式计算得到:
2
=
2
=
1
1
=1
2
备注: 样本方差是无偏的, i.e
E s
2
= σ
2
░▐ 样本方差与卡方的关系 Chi-Squared relation with sample variance
2
表示随机样本的样本方差,有如下公式:
2
1
2
−1
2
CS229 | Machine Learning Stanford University 系列内容 Awesome AI Courses Notes Cheat Sheets @ ShowMeAI
[复习]概率统计
/ Probabilities and Statistics Refresher
- 5 -
- 5 -
Awesome AI Courses Notes Cheat Sheets
Machine Learning
CS229
Deep Learning
CS230
Natural Language Processing
CS224n
Computer Vision
CS231n
Deep Reinforcement Learning
CS285
Neural Networks for NLP
CS11-747
DL for Self-Driving Cars
6.S094
...
Stanford
Stanford
Stanford
Stanford
UC Berkeley
CMU
MIT
...
ShowMeAI 系列 TOP20+ AI 读者
学习者提供一整套高品质中文速查表,可以点击【这里】查看。
Stanford University Machine Learning CS229 Deep Learning
CS230)课程,是本系列的第一批产出。
Shervine Amidi
结整理。原速查表为英文,可点击【这里】查看
ShowMeAI
对内容进行
了翻译、校对与编辑排版,整理为当前的中文版本。
有任何建议和反馈,也欢迎通过下方渠道和我们联络 (*3)
CS229 | Machine Learning @ Stanford University
CS230 | Deep Learning @ Stanford University
监督学习
Supervised Learning
无监督学习
Unsupervised Learning
深度学习
Deep Learning
机器学习技巧和经验
Tips and Tricks
卷积神经网
CNN
循环神经网
RNN
深度学习技巧与建议
Tips and Tricks
中文速查表链接
中文速查表链接
中文速查表链接
中文速查表链接
中文速查表链接
中文速查表链接
中文速查表链接
概率统计
Probabilities /Statistics
线性代数与微积分
Linear Algebra and Calculus
GitHub
ShowMeAI
https://github.com/
ShowMeAI-Hub/
ShowMeAI 研究中心
扫码回复
速查表
下载
最新
全套资料
中文速查表链接
中文速查表链接