贝叶斯线性回归 MAP估计和ML估计都是对模型参数的点估计，也就是说它为向量\(w\)找到一个确定的值，这个值可以最大化目标函数。其中ML只考虑数据模型\(p(y|w, X)\)，而MAP还考虑到了模型的先验\(p(y,w|X) = p(y|w, X)p(w)\)。在这个基础上，贝叶斯推断还使用贝叶 ...

偏差-方差均衡 由上一讲可知，普通最小二乘算出的权重\(w_{\rm LS}=(X^\mathsf{T}X)^{-1}X^\mathsf{T}y\)，为无偏差估计但是有比较高的方差，即 \[ \mathbb{E}[w_{\rm LS}] = w,\ \ {\rm var}[w_{\rm LS}] = ...

最小二乘法的概率解释 对于多元高斯分布，假设协方差矩阵\(\Sigma = \sigma^2 I\)，概率密度为 \[ p(y|\mu, \sigma^2) = \frac{1}{(2\pi \sigma^2)^{\frac{n}{2}}}\exp\left(-\frac{1}{2\sigma^2} ...

回归的定义：给定输入\(x\in \mathbb{R}^d\)，输出\(y \in \mathbb{R}\)，回归问题的目的是找到函数\(f: \mathbb{R}^d \rightarrow \mathbb{R}\)使得对数据对\((x,y)\)有\(y \approx f(x;w)\)。这里\( ...

概率模型是概率分布\(p(x|\theta)\)的集合。我们并不知道具体参数\(\theta\)是什么，需要进行推测。例如对于给定的数据\(x\)，我们想建立一个高斯分布模型\(p(x|\theta), \theta = \{\mu, \Sigma\}\)。注意这里隐含着一个重要的假设，即所有数据都 ...