NMT Tutorial 4. 循环神经网络(RNN)
本文来自于如下来源
[Neubig2017]第6节(主要来源，结构遵从此文)
[Koehn2017]13.4.4、13.4.5、13.4.6三小节
NNMNLP第14、15章
花书第十章
CS224n第6、7讲(2019年春)
前面介绍的三种语言模型(N元语法、log-linear语言模型和神
...
NMT Tutorial 3扩展e第4部分. 文档的简单分布式表示
发表于
|
分类于
NLP
词的嵌入表示可以看作是深度学习时代自然语言处理的基石，但是自然语言处理的核心任务还是要处理更高级的语言结构，例如句子和文档。在获得了词的分布式表示以后，人们很自然地会思考如何对句子和文档也获得类似的表示结果。本文将介绍一些不涉及到更复杂网络结构（例如RNN）的句子/文档表示方法，其它更高级的方法将在
...
NMT Tutorial 3扩展e第2部分. Subword
发表于
|
分类于
NLP
序言
按照布隆菲尔德的理论，词被认为是人类语言中能自行独立存在的最小单位，是“最小自由形式”。因此，对西方语言做NLP时，以词为基石是一个很自然的想法（甚至对于汉语这种没有明显词界限的语言来说，分词也成为了一个重要的工作）
但是，将某个语言的词穷举出来是不太现实的。首先，名词、动词、形容词、副词这四
...
NMT Tutorial 3扩展e第1部分. Word2Vec及若干关于词向量的扩展知识
发表于
|
分类于
NLP
本文共分为三节，由若干文章拼接而成。第一节具体推导word2vec参数的更新规则，第二节介绍在词表比较大时对softmax做近似的方法，第三部分介绍如何生成好的词向量
Word2vec的参数学习
本节内容完全来自于[rong2014]
连续词袋模型（CBOW）
上下文仅有一个单词的情况
上下文只有一
...
NMT Tutorial 3扩展d. 神经网络的泛化
发表于
|
分类于
深度学习
机器学习模型的正则化是一个老生常谈的问题，毕竟模型训练出来的目的是让它在未知数据上表现良好，而不是死记硬背已有的数据——就像我们准备高考的时候大量刷题不是为了能在高考时遇见自己做过的题，而是为了能运用已有知识做出新题（当然咯，碰上是一件好事，但是这不是目标。况且以一般人的记忆力，遇到旧题还是会忘的，
...
NMT Tutorial 3扩展c. 神经网络的初始化
发表于
|
分类于
深度学习
深度学习中，在具体网络结构之上，有三种应用广泛而且比较微妙的技术，分别是
初始化，即如何恰当地初始化网络参数。不恰当的初始化方法甚至会使网络无法被训练，而好的初始化方法可以缩短网络训练的时间
优化，即如何让参数更新，最后达到最优解。这部分内容实际上并非深度学习所特有，各个优化器可以应用在其它基于梯
...
NMT Tutorial 3扩展b. 自动微分
发表于
|
分类于
深度学习
本文无说明的部分（包括配图）均是翻译/演绎自：
Baydin, A. G., Pearlmutter, B. A., Radul, A. A., & Siskind, J. M. (2017). Automatic differentiation in machine learning: a
...
NMT Tutorial 3扩展a. 深度学习的矩阵微积分基础
发表于
|
分类于
深度学习
写在前面：矩阵微积分是深度学习的数学基础之一，但是这部分内容在大学计算机系（及相关非数学类专业）本科几乎没有介绍，想要了解全凭自学。我之前看过的比较好的资料有三个：维基百科的Matrix Calculus词条、The Matrix Cookbook和Towser的《机器学习中的矩阵/向量求导》。然而
...
在Mac上编译构建Moses
发表于
|
分类于
编程札记
Moses是统计机器翻译领域最常见的工具（可能没有“之一”），使用C++编写。由于工作需要，我需要训练一个翻译模型，而平行语料比较小，使用NMT不现实，因此自然需要考虑借助moses的帮助。但是moses官网上的指导稍微有点乱，而且代码库里也存在一些错误，我自己也把C++忘光了（本来也就学了个皮毛）
...
NMT Tutorial 3. 神经网络语言模型与词向量
发表于
|
分类于
NLP
本文主要参考了如下教程
Koehn2017 : 第2、3节，第4节前半部分
Neubig2017 : 第5章
StanfordCS224n : 第2、3、4讲
Goldberg NNMNLP : 第3、4、5、8、9、10、11章
其中主要会以[Neubig2017]和[StanfordCS22
...