虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。
但实际上当初提出长短期记忆神经网络并不是为了文本处理。
当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。
在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。
有时会遇到梯度消失和梯度爆炸的问题。
这两种情况都不是研究人员希望看到的情况。
出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。
个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。
总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。
该问题在长短期记忆神经网络出现后得到一定的缓解。
但还是没有彻底解决梯度消失和梯度爆炸问题。
除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。
总之梯度消失和梯度爆炸问题但还没有被彻底解决。
到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。
这个问题已然严重制约机器学习向前发展。
心念及此，埃克莱尔·基尔卡加不免有些感慨。
也不知道这个问题什么时候会被什么人彻底解决？？？
埃克莱尔·基尔卡加突然感觉他对LIN HUI算法这么较真也没什么必要啊？
诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。
不也没什么人着急吗？至少看起来没啥人着急？
自己为什么要为要跟LIN HUI这么一个算法较劲呢？
埃克莱尔·基尔卡加突然有些疲乏感。
不过面对兴冲冲的同事，埃克莱尔·基尔卡加还不至于打退堂鼓。
埃克莱尔·基尔卡加：“我现在还不能够肯定LIN HUI算法中用的就是长短期记忆神经网络。
只能说LIN HUI算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。
至于到底是不是还有待验证。
说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。
据我了解伊芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。
只不过他们用的具体是哪种循环神经网络暂时还不清楚。
不过不管怎么说，我觉得能有麻省理工学院那边的帮助的话对我们来说将会助力不小。”
哈雷·普莱斯：“这倒是个问题，不过问题不大。
m国最不缺的就是研究机构。
我前段时间听尼克那家伙说普林斯顿大学的朱尔斯教授正在搞一个循环神经网络的项目。
或许我们可以跟普林斯顿大学展开合作？”
埃克莱尔·基尔卡加：“呃，你确定要跟普林斯顿那些傲慢的数学佬打交道？
他们看我们的就跟我们看那些文科生的一样？
还有如果我们和他们合作的话，究竟是以谁为主导？研究出来的成果又怎么划分？”
哈雷·普莱斯：“他们怎么看我们无所谓。
一群搞数学的现在搞循环神经网络，谁更占优势还不一定呢？
至于谁主导到时候再说吧，一切达者为尊。”
埃克莱尔·基尔卡加：“那你去联系吧，反正我是懒得跟朱尔斯那个老秃驴洽谈。”
哈雷·普莱斯：“呃，其实我也不想去跟朱尔斯联系……”
埃克莱尔·基尔卡加：“那你还提这个馊主意？”
哈雷·普莱斯坏坏地道：“或许我们可以叫阿西莱·维拉斯克斯去，谁叫他卖专利给那个LIN HUI……”
埃克莱尔·基尔卡加：“这是个好主意！”
喜欢穿越：2014请大家收藏：(www.dearzw.com)穿越：2014第二中文更新速度全网最快。