EdX Columbia ML 5. 贝叶斯线性回归
贝叶斯线性回归
MAP估计和ML估计都是对模型参数的点估计，也就是说它为向量\(w\)找到一个确定的值，这个值可以最大化目标函数。其中ML只考虑数据模型\(p(y|w, X)\)，而MAP还考虑到了模型的先验\(p(y,w|X) = p(y|w, X)p(w)\)。在这个基础上，贝叶斯推断还使用贝叶
...
EdX Columbia ML 4. 偏差方差、贝叶斯定律与MAP推断
发表于
|
分类于
统计机器学习
偏差-方差均衡
由上一讲可知，普通最小二乘算出的权重\(w_{\rm LS}=(X^\mathsf{T}X)^{-1}X^\mathsf{T}y\)，为无偏差估计但是有比较高的方差，即 \[
\mathbb{E}[w_{\rm LS}] = w,\ \ {\rm var}[w_{\rm LS}] =
...
EdX Columbia ML 3. 最小二乘II & 岭回归
发表于
|
分类于
统计机器学习
最小二乘法的概率解释
对于多元高斯分布，假设协方差矩阵\(\Sigma = \sigma^2 I\)，概率密度为 \[
p(y|\mu, \sigma^2) = \frac{1}{(2\pi \sigma^2)^{\frac{n}{2}}}\exp\left(-\frac{1}{2\sigma^2}
...
EdX Columbia ML 2. 线性回归与最小二乘
发表于
|
分类于
统计机器学习
回归的定义：给定输入\(x\in \mathbb{R}^d\)，输出\(y \in \mathbb{R}\)，回归问题的目的是找到函数\(f: \mathbb{R}^d \rightarrow \mathbb{R}\)使得对数据对\((x,y)\)有\(y \approx f(x;w)\)。这里\(
...
EdX Columbia ML 1. 概论与最大似然
发表于
|
分类于
统计机器学习
概率模型是概率分布\(p(x|\theta)\)的集合。我们并不知道具体参数\(\theta\)是什么，需要进行推测。例如对于给定的数据\(x\)，我们想建立一个高斯分布模型\(p(x|\theta), \theta = \{\mu, \Sigma\}\)。注意这里隐含着一个重要的假设，即所有数据都
...