本讲使用了CS231n的讲义，而这份讲义非常详细，这里只做一个简单的笔记。所有插图的链接都链到了原始讲义的图片地址 卷积神经网络，又被称为CNN或者ConvNet。这种体系结构直接假设输入是图片（原文如此，实际上某些文本问题也可以用CNN处理），并直接将一些性质编码在了体系结构中。而且，CNN可以显 ...

Hopfield网 本讲开始介绍的神经网络和传统的前馈神经网络不同，它们的性质都是由某个全局的能量函数推演而来，因此称为基于能量的模型。Hopfield网络是其中最简单的一种，由二元阈值的单元组成，单元之间有循环连接。通常来讲，带有循环连接和非线性神经元的网络不太好分析，因为其行为比较难以捉摸：它们 ...

为什么模型组合效果更好 模型组合是一种在拟合必然规律和过拟合采样误差间取得平衡的方法。当训练数据比较有限时，就容易造成过拟合，如果将不同模型的预测结果做平均，则可以降低过拟合风险。对于回归问题，平方误差可以分解为偏差项和方差项。如果模型能力有限，偏差项就会比较大，它表示模型逼近真是函数的能力有多差。 ...

本章内容英文版参见CS20 2018Winter 第五章讲义 。大部分材料翻译自讲义内容，已得到老师授权。类似的声明适用于已经发布的CS20/CS20SI下的所有文章 变量共享 命名域 （Name scope） 之前的代码在运行时可以使用TensorBoard查看计算图。但是图里节点零零散散的，比较 ...

Eager Execution TensorFlow本身被设计为声明式的编程框架。开发人员先定义好的是一个计算图，然后这个图在某个会话里被解释执行。这样的设计方式使得TF代码易于优化、部署和重写，但是也引入了一些问题 难以调试。TF都是在图构成好以后很久才报错，而且不能使用pdb或其它打印语句来调 ...

提高网络泛化能力的若干方法 概论 当训练网络用的数据量比较小，而网络又特别复杂时，就容易发生过拟合现象。其原因是，尽管数据集的输入和输出之间存在着某种规律性的关系，但是任何有限的训练集都会包含采样误差，也就是说，训练集中的某些规律可能是偶然的，只是因为选中了某些特殊的训练样例才会出现。因此，拟合模型 ...

无Hessian矩阵（Hessian-Free, HF）优化法及其应用 HF优化原理 假设损失函数是一个二次曲线（曲率恒定），确切说，是一个碗口向上的抛物线，那么在这个曲线上选定方向，向前一直前进，误差在重新变大之前会减少多少？这个值取决于梯度和曲率的比值，所以如果选定的方向是好的方向，这个比值应该 ...

对序列建模 当使用机器学习方法对序列建模时，通常是要把一个序列转化为另一个序列。例如，想把英语单词序列转化为法语单词序列（机器翻译），或者是将声音信号转化为单词的文本序列（语音识别）。有的时候，并没有一个单独的目标序列，在这种情况下，可以通过试着预测输入序列的下一个项（item）来获取一个教学信号， ...

Mini-batch梯度下降概论 本章主要介绍一些关于神经网络优化的方法。但是在介绍优化方法之前先回顾一下关于误差函数/代价函数的内容。如第三章所示，给定某个线性神经元，可以画出其误差表面：其纵轴是误差，横轴是权重值。如果使用的是平方误差，则误差表面的横切面应该是一个椭圆，纵切面是一个双曲线。对多层 ...

为何物体识别很困难？ 尽管人类在计算能力上能被计算机甩开好几百条街，但是有一项任务做起来却是得心应手，比计算机高到不知道哪里去了。这项任务就是物体识别——人类是如此擅长这件事情，甚至不知道做起来有什么难点。但是同样的事情，机器做起来可谓是困难重重 难以从图片中把要识别的物体分割出来（segment ...