线性网络假设函数 在本系列课程的第一讲里，曾讲到过一种称为“推荐系统”的问题，也就是根据用户对电影的评分历史，估计ta对一部新电影可能的评分。也就是说，对于第\(m\)部电影，其数据集\(\mathcal{D}_m\)可以表示为 \[ \{(\tilde{\bf x}_n = (n), y_n = ...

径向基函数网络假设函数 前面讲使用高斯核的SVM时曾经提到过这种模型的一个性质：在高斯核的帮助下，这种模型可以在无限维的空间里学习到一个最大间隔超平面。该模型的定义如下 \[ g_{\rm SVM}({\bf x}) = {\rm sign}\left(\sum_{\rm SV}\alpha_n y ...

本讲原标题有点标题党，只讲了一点关于深度学习的皮毛，还有一部分在讲PCA，不要被误导！ 本讲原标题有点标题党，只讲了一点关于深度学习的皮毛，还有一部分在讲PCA，不要被误导！！ 本讲原标题有点标题党，只讲了一点关于深度学习的皮毛，还有一部分在讲PCA，不要被误导！！！ 深度神经网络 神经网络的核心是 ...

动机 本课在很早之前就讲过了感知机的概念，前面又讲过了模型聚合的概念，那么有没有一种方法可以将若干个感知机模型通过线性的方式聚合起来？显然是可以的。假设一共有\(t\)个感知机，每个感知机训练出来的系数为\({\bf w}_t\)，返回的模型为\(g_t\)，其在整个模型里的权重为\(\alpha_ ...

AdaBoost决策树 在介绍AdaBoost决策树之前，先回顾一下之前讲过的随机森林。随机森林的核心是，将一些决策树（内层）使用bagging的方法（外层）聚合起来。如果把决策树和AdaBoost算法结合起来，那么就得到了AdaBoost决策树。但是有一点需要注意：AdaBoost算法里要求基算法 ...

随机森林算法 之前的课程里曾经讲述过两种算法：bagging算法和决策树算法。这两种算法的特点都很明显： bagging算法需要基分类器\(g_t\)的方差尽可能大，然后它会通过投票或求均值的操作来减少最后算法\(G\)的方差 决策树会根据数据情况选择最佳切割点。数据有一点变化，切割点可能就会不同 ...

决策树假设 模型聚合总体来讲有两种面向。一种是模型混合法，即在已经知道有哪些基分类器\(g_t\)以后做聚合，返回聚合得到的模型\(G\)；另一种是模型学习法，即事前不知道有哪些基分类器，一边求\(g_t\)一边做聚合。聚合这些模型时，总体来讲又有三种方式：将每个\(g_t\)按照等权重聚合、按照重 ...

本文中“提升算法”一词皆使用英文原文boosting代替 Boosting算法的动机 假设幼儿园老师要教小孩子辨认是什么苹果，那么每次他会给出若干张“是苹果”的照片，另若干张”不是苹果“的照片，让学生给出如何分辨哪些是苹果。有的学生可能会说”圆形的是苹果“，那么老师会高亮犯错的照片，让别的学生继续提 ...

模型聚合的动机 如果已经得到了一些特征或假设，这些假设可以做预测，那么如何将这些有预测性的特征或假设合起来，让它们变得更好？这种模型就称为模型聚合 为什么要做模型聚合呢？举个例子，假设今天有15个朋友，每个人都会对股市的涨跌做一个预测，那么在得到这些预测以后应该怎么办？其实可以做的事情非常多，例如 ...

核岭回归 由上一讲提到的表示定理可知，任何带有L2正则项的线性模型都能被核化。那么如何把回归模型核化呢？而且回想之前讲岭回归（带有L2正则项的线性回归）时，曾经说过该模型可以得到一个闭合的解析解，那么使用了核方法以后的模型是否能同样有解析解？ 首先，将原始岭回归的问题写出 \[ \min_{\bf ...