学习预测下一个单词 本讲将介绍反向传播算法的一个有趣的应用，即可以用它来学出对单词意义的一种特征表示。这种做法可以追溯到20世纪80年代，那时人们使用神经网络来理解家族树（family tree）中所包含的信息。下图给出了家族树的一个示意图 家族树的示意图 家族树中包含了大量的人名，同时可以定义 ...

本次笔记主要是对《深度学习》一书第六章的一些知识点做一定程度的补充说明。这些知识点大部分都来自6.2节 最大似然与交叉熵的关系 本节是参照一些概念定义对教材5.5节的扩展 电子版154页提到： 大多数现代的神经网络使用最大似然来训练。这意味着代价函数就是负的对数似然，它与训练数据和模型分布间的交叉 ...

《深度学习》系列笔记的前言 从这篇博客开始，我将对Goodfellow等人编著的《深度学习》一书做一些笔记。对于每一章，按照现在的构想，笔记大概会分成三个部分 “记”的功能是提取书中的一些关键知识点。由于每一章的学习按照计划都是在对应的Hinton视频课程之后学习，而Hinton一般会讲一些比较基 ...

本次课的所有示例代码和所用数据都可以从本课Github仓库上获得。为了更清楚地梳理老师上课的讲授内容，这次课的笔记我打算使用如下方法进行组织 首先把教授给出的初始代码框架贴出来 由于通常初始代码会分成几块，因此，之后会按照算法逻辑，给出各个块的实现 如果这里遇到了TensorFlow的一些新的， ...

TensorBoard 在上一讲，给出了一小段TensorFlow代码，这段代码是比较简单的，容易理解 （如果运行时看见警告信息The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are avail ...

本系列笔记来自于2017年斯坦福大学Chip Huyen老师所开设的课程CS20SI: TensorFlow for Deep Learning Research。内容基本上来自于课程官网提供的幻灯片和课堂讲义（lecture notes）。一些其它补充内容可能来自于TF官网、知乎相关问答或专栏以及 ...

学习线性神经元的权重 本节首先来看使用线性神经元的神经网络如何学习权重。这个结构看起来像普通感知机，但是其实学习过程是不一样的。感知机的学习过程是调整权重，让权重向量向更好的权重向量靠近，而线性神经元虽然也是在调整权重，但是目的是让输出向目标输出靠近 感知机算法中保证的一个基本情况在神经网络里不会出 ...

神经网络体系结构的主要类型 本课程主要介绍的内容是各种各样的神经网络，而这些神经网络根据神经元连接的方式大致可以划分成三种主要的体系结构 第一种结构是前馈神经网络（feed-forward neural networks）。这种结构是迄今为止实践中应用最多的结构，其第一层是输入，最后一层是输出，中间 ...

为什么需要机器学习？ 对于一些问题，例如在复杂环境里，如何在新的光源条件下识别三维物体，编写程序去解决这些问题本来就是非常困难的：我们也不知道我们的大脑到底是如何运作来识别它的，即便我们知道，写出来的程序可能也十分复杂。对于另外一些问题，例如判断某笔信用卡交易有多大概率是欺诈性的，可能无法给出简单有 ...

特征变换技术 关于特征变换，最开始讲的是核技巧。核技巧将可能非常多的特征变换都埋藏在了一个核操作中，包含了多项式核、高斯核和决策树桩核等。核需要满足Mercer条件，所有满足该条件的函数都可以做核函数，值得一提的是，两个核的和/积都还是核。核的应用非常广泛，无论是常见的方法诸如SVM、SVR还是概率 ...