软间隔SVM与正则化模型 前面讲到，软间隔SVM对每个数据点记录了其“间隔破坏量”，记为\(\xi_n\)，并对该量施加一些惩罚，得到软间隔SVM的优化问题 \[ \begin{align*} \min_{b, {\bf w}}\hspace{2ex}&\frac{1}{2}{\bf w^\ ...

动机与原始问题 上一讲最后提到，SVM也会出现过拟合的情况。那么在什么时候SVM会过拟合呢？其中一种情况是使用太强力的\(\boldsymbol{\Phi}\)，而另一种情况是坚持认为数据是完全可分的。回顾之前的理论，如果总是坚持要完全可分输入数据，就是要找到一个\(g\)使得输入数据可以被\(g\ ...

核技巧 前面提到，对偶问题最后也能写成二次规划问题的标准形式。乍一看，问题的变量数为\(N\)，条件数为\(N+1\)，跟数据的维度\(\tilde{d}\)无关，但是需要注意的是，\(\rm Q_D\)中的每一项计算方式为两个\(y\)相乘再乘上两个\(\bf z\)的内积（\(q_{n, m} ...

提出对偶SVM的动机 上一讲提到的线性SVM可以很容易地被延展到非线性的情况，只需要引入非线性特征变换\(\boldsymbol{\Phi}\)就可以。引入以后的问题描述为 \[ \begin{align*} \min_{ {\bf w}, b} \hspace{3ex}&\frac{1}{ ...

最大间隔分离超平面 前面在介绍感知机时，曾经提到线性分类器的表现形式为 \[ h({\bf x}) = {\rm sign}({\bf w}^\mathsf{T}{\bf x}) \] 它在二维空间表现为一条直线，在三维空间表现为一个平面，在\(n​\)维空间其维度总为\(n-1​\)，称作超平面 ...

奥卡姆剃刀 Entia non sunt multiplicanda praeter necessitatem ----William of Occam (1287-1347) 该拉丁格言的意译为“如无必要，勿增实体”。用在机器学习的领域，意味着对数据最简单的拟合往往也是最好的。不过这里有两个问 ...

模型选择问题 即便是对二元分类问题，前面也介绍了很多种机器学习算法。这些算法（和算法所需要设置的参数）包括了 算法\(\mathcal{A}\)本身，例如PLA、口袋算法、线性回归、Logistic回归 算法迭代的步数\(T\)。是100，1000还是10000 算法的学习率\(\eta\)。是1 ...

正则化的假设集 过拟合的正则化 如上图所示，右边给出的就是在上讲中经常提到的过拟合现象，可以看到拟合的曲线（红线）与目标函数图像（蓝线）差别特别大。正则化的目的是对复杂的模型进行调整，使其也可以逼近比较简单的模型。上图左边给出的就是正则化的效果示意，可以发现经过正则化以后，函数光滑了许多，也与目 ...

什么是过拟合 假设现在要做一个一维数据集的回归分析，数据集一共有5个点，目标函数是一个二次函数，所有的\(x_i, i = 1, 2, 3, 4, 5\)都是随机产生，其对应的标签\(y_i\)是对应的目标函数值加上一点微小的噪声。由于拿到数据集以后并不知道目标函数的形式，因此一种思路是使用前面提到 ...

二次函数假设 二维平面上，解决二元分类问题的分类器可以看做是一条直线（在更高维空间上，是一个超平面），其核心思想是使用权重向量\(\bf w\)对输入\(\bf x\)算一个分数\(s = {\bf w}^\mathsf{T}{\bf x}\)，然后对得到的分数做进一步处理。这种做法的好处是其VC维 ...