您现在的位置是:网站首页 > 当代文学

CS224n笔记14 Tree RNN与短语句法分析

本站2019-07-0772人围观
简介 语言能力以前有种主流观点认为,人类生来就具备处理语言的大脑模块,使得人类区别于其他动物,成为万物灵长。 但乔姆斯基最近的工作认为,人类大脑中没有这种结构,只是因为人类学会了递归而已。

CS224n笔记14 Tree RNN与短语句法分析

语言能力以前有种主流观点认为,人类生来就具备处理语言的大脑模块,使得人类区别于其他动物,成为万物灵长。

但乔姆斯基最近的工作认为,人类大脑中没有这种结构,只是因为人类学会了递归而已。

有了递归的思想,人类就能利用有限的器官处理无限长度的语言序列。

语言是递归的吗在认知科学上虽然有些争议,因为一般一个句子是有长度限制的,人们几乎从不说300个词以上的句子。

但是递归是描述语言的最佳方式,比如[Themanfrom[thecompanythatyouspokewithabout[theproject]yesterday]]这里面一个名词短语套一个名词短语,一级级下去。 从实用的角度讲1、通过递归地描述句子(句法树),可以有效地消歧:2、便于指代相消等任务。 3、便于利用语法树结构(基于短语的机器翻译)在词向量空间模型上表示语义不论句子多复杂,我们总是希望能在同一个向量空间中表示词语和短语的语义。

为什么一定要这么做?回想这节课开头snowboarder的例子就明白了,有时候一个单词与一个短语表达的是同一个意思。

如何将短语映射到向量空间根据著名的复合性原理——在数学、语义学和语言哲学中,复合性原理是指,一个复杂表达式的意义是由其各组成部分的意义以及用以结合它们的规则来决定的。

——https:///dicts/en/Principle_of_通过同时学习句法树和复合性向量表示,就可以得到短语的向量表示了。

短语结构分析:目的如果我们能用短语结构树表示一个句子:将每个rule视作一个算子,即可得到每个短语乃至句子的向量表示:两者都是递归神经网络,只不过前者在空间上递归,后者在时间上递归。 中文有时会把后者翻译为“循环神经网络”,但这明显混淆了等级,令人误解。 它们各有各的优缺点,Recursiveneuralnet需要分析器来得到句法树,而Recurrentneuralnet只能捕捉“前缀”“上文”无法捕捉更小的单位。 但人们还是更倾向于用后者,LSTM之类。

因为训练Recursiveneuralnet之前,你需要句法树;句法树是一个离散的决策结果,无法连续地影响损失函数,也就无法简单地利用反向传播训练。