Tingxun's Blog

念念不忘,必有回响


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • 站点地图

EdX Columbia ML 5. 贝叶斯线性回归

发表于 Jun 24 2017 | 分类于 统计机器学习
贝叶斯线性回归 MAP估计和ML估计都是对模型参数的点估计,也就是说它为向量\(w\)找到一个确定的值,这个值可以最大化目标函数。其中ML只考虑数据模型\(p(y|w, X)\),而MAP还考虑到了模型的先验\(p(y,w|X) = p(y|w, X)p(w)\)。在这个基础上,贝叶斯推断还使用贝叶 ...
阅读全文 »

EdX Columbia ML 4. 偏差方差、贝叶斯定律与MAP推断

发表于 Jun 24 2017 | 分类于 统计机器学习
偏差-方差均衡 由上一讲可知,普通最小二乘算出的权重\(w_{\rm LS}=(X^\mathsf{T}X)^{-1}X^\mathsf{T}y\),为无偏差估计但是有比较高的方差,即 \[ \mathbb{E}[w_{\rm LS}] = w,\ \ {\rm var}[w_{\rm LS}] = ...
阅读全文 »

EdX Columbia ML 3. 最小二乘II & 岭回归

发表于 Jun 24 2017 | 分类于 统计机器学习
最小二乘法的概率解释 对于多元高斯分布,假设协方差矩阵\(\Sigma = \sigma^2 I\),概率密度为 \[ p(y|\mu, \sigma^2) = \frac{1}{(2\pi \sigma^2)^{\frac{n}{2}}}\exp\left(-\frac{1}{2\sigma^2} ...
阅读全文 »

EdX Columbia ML 2. 线性回归与最小二乘

发表于 Jun 24 2017 | 分类于 统计机器学习
回归的定义:给定输入\(x\in \mathbb{R}^d\),输出\(y \in \mathbb{R}\),回归问题的目的是找到函数\(f: \mathbb{R}^d \rightarrow \mathbb{R}\)使得对数据对\((x,y)\)有\(y \approx f(x;w)\)。这里\( ...
阅读全文 »

EdX Columbia ML 1. 概论与最大似然

发表于 Jun 24 2017 | 分类于 统计机器学习
概率模型是概率分布\(p(x|\theta)\)的集合。我们并不知道具体参数\(\theta\)是什么,需要进行推测。例如对于给定的数据\(x\),我们想建立一个高斯分布模型\(p(x|\theta), \theta = \{\mu, \Sigma\}\)。注意这里隐含着一个重要的假设,即所有数据都 ...
阅读全文 »
1…910
Tingxun Shi

Tingxun Shi

95 日志
11 分类
101 标签
知乎
友情链接
  • 咲神
© 2017 — 2019 Tingxun Shi
由 Hexo 强力驱动
|
主题 — NexT.Muse v5.1.3
访问人数 总访问量 次