用于二元分类的线性模型 之前提到的三种线性模型都使用了\(s = {\bf w}^\mathsf{T}{\bf x}\)这个函数来计算得分 线性分类直接对这个分值取正负号，使用0/1误差来做误差函数。\(E_{\rm in}(\bf w)\)是离散的，优化是NP-hard问题 线性回归对这个分值不 ...

Logistic回归问题 二元分类问题，由于误差函数的定义，只关注样本是/否属于某个类别，即\(\mathcal{Y} \in \{-1, +1\}\)，理想的假设函数的形式也是\(f({\bf x}) = {\rm sign}(P(+1|{\bf x}) - \frac{1}{2}) \in \{ ...

线性回归问题 回顾之前举的银行信用卡问题，如果要关注的问题不再是“给不给发卡”而是“发多大的额度”，那么这就不再是一个二元分类问题，而输出空间已经是实数集（这里实际上是实数集的一个子集）了，因此是一个回归问题。 回归问题的假设函数应该是什么样的？假设已经提取好了\(d\)个特征\(x_1, x_2, ...

噪声和目标分布 在感知机模型的口袋算法中曾经简单介绍过一点关于噪声的概念。需要注意的是，噪声可能出现在各种地方，例如 噪声出现在标签\(y\)中，例如好的用户被错误地标记为坏的用户 噪声出现在标签\(y\)中的另一种形式是相同的顾客被打上了不同的标签 噪声还可能出现在数据\(\bf x\)中，例如 ...

VC维的定义 第六讲证明，如果样本数\(N\)足够大且假设集合\(\mathcal{H}\)的成长函数\(m_{\mathcal{H}}(N)\)存在突破点，那么就有\(E_{\rm out} \approx E_{\rm in}\)。其中更具体地，如果成长函数存在突破点\(k\)，那么当\(N & ...

停止点对成长函数值的限制 如果对于某个\(\mathcal{H}\)，其停止点\(k=2\)，这透露了什么信息？这意味着当\(N=1\)时，可以产生两种二分法分类器，\(m_\mathcal{H} = 2\)；但是当\(N=2\)时，由于达到了停止点，由定义必然有\(m_\mathcal{H} (N ...

再谈\(E_{\rm in}\)与\(E_{\rm out}\) 上回提到，如果有足够多的根据统计方法生成的数据，而且\(\mathcal{H}\)是有限集，那么问题是可学习的。即如果假设集\(\mathcal{H}\)的基数是有限的，记为\(M\)，而且有样本量\(N\)足够大，那么对任意算法\( ...

不可能学习的情况 首先来看一个例子：给定下图，你是否能判断最后的图形应该属于哪个类别，是-1还是+1 一个学习谜题 可以说\(g({\bf x})=+1\)，因为所有已知\(y_n = +1\)的图形都是对称的。也可以说\(g({\bf x}) = -1\)，因为所有已知\(y_n = -1\) ...

根据输出空间\(\mathcal{Y}\)分类 二元分类问题 重新回顾一下“是非题”的形式。为了解决这个问题，需要我们提供一批训练数据\(\mathcal{D}\)，其中我们要指出对哪些用户发放信用卡，哪些不发。像这样答案只有两种可能性（“要”或“不要”）的问题称为二元分类问题，其输出空间\(\ma ...

感知机假设集合 上回说到机器学习的核心就是，使用算法\(\mathcal{A}\)接收数据\(\mathcal{D}\)，从假设集合（所有可能性）\(\mathcal{H}\)中选出一个\(g\)，希望\(g \approx f\)。那么我们现在最关心就是，\(\mathcal{H}\)应该是什么样 ...