引言 过去讲过的这些模型可以分为两类：概率模型和非概率模型。 对于概率模型，我们假设数据满足某些概率分布，例如贝叶斯分类器、Logistic回归、最小二乘和岭回归（如果从ML和MAP的角度看）以及贝叶斯线性回归 非概率模型不牵涉有关概率分布的假设，例如感知机、SVM、决策树和k均值聚类 对于以上 ...

无监督学习算法 给定数据，不给标签，探寻数据本身的结构。按照贝叶斯的描述，就是去对\(p(x)\)建模 聚类 （问题描述没新意的不写了，老司机都懂） K均值算法 最简单，最基础的聚类算法 输入：\(x_1, \ldots, x_n\)，其中\(x \in \mathbb{R}^d\) 输出：向量\( ...

算法 也是一种集成方法，但是与bagging有所差别 Bagging：不同分类器并行在bootstrap出来的样本集上跑，互相不依赖 Boosting：后一个分类器依赖前一个分类器的结果以及加权误差。每个分类器也有自己的权重 AdaBoost算法（抽样版） 给定数据点\((x_1, y_1), ...

决策树 非形式化地，决策树（这里考虑的是二叉决策树）是一棵二叉树，每个内部节点对应一个对数据集某一维度的划分规则，叶子节点则对应一个具体的输出值。如果树只有一个输出规则，那么这棵树称为决策树桩 (decision stump) 决策树一般的学习策略是一种自顶向下的贪心算法：从一个包含了所有数据的叶子 ...

最大间隔分类器 对感知机，只选择第一个完全分离开样本的超平面（如果样本线性可分）。所有可以分离开样本的超平面对于感知机来讲都是同样好的。而最大间隔分类器的目标是减少预测误差，使得每个类别中离超平面最近的那个点与超平面的距离尽量大。这个距离叫做间隔（margin）。如果我们知道两个类别应该满足什么分布 ...

特征扩展 当线性模型在原始特征空间内\(x\in \mathbb{R}^d\)效果不好时，可以把特征映射到高维空间\(\phi(x) \in \mathbb{R}^D (D > d)\)，然后在高维空间再进行线性建模。但是应该怎么映射这都是case by case的，通常可以使用“kitche ...

Logistic回归：定义 我们希望能找到一种方法，可以将分离超平面（来自感知机）这一概念与概率工具（来自最小二乘线性回归）相结合 线性判别分析需要两个假设，其一是\(y\sim {\rm Bern}(\pi)\)，其二是\(x|y \sim N(\mu, \Sigma)\)。而且\(w_0\)和\ ...

线性分类器 这里我们只讨论二元分类的情况，即\(\mathcal{Y} \in \{-1, +1\}\)或\(\mathcal{Y} \in \{0, 1\}\)。在这种情况下，假设我们使用贝叶斯分类器，而且对某个新数据判定其类别为1，则肯定有 \[ \begin{align*} &p(x| ...

分类问题： 其输入是输入空间\(\mathcal{X} = \mathbb{R}^d\)中的\(n\)个样本\(x_1, \ldots, x_n\)，输出是离散空间\(\mathcal{Y}\)中的某个值。当\(\mathcal{Y} = \{-1,+1\}\)或\(\{0,1\}\)时，问题是一个 ...

引子：欠定线性等式 (underdetermined linear equations) 这里考虑的是\(y = Xw, X \in \mathbb{R}^{n \times d} (d >\!\!> n)\)的问题。即数据集的维数大于样本数。此时\(w\)有无穷多个解满足\(y = X ...