递归神经网络（RNNs）在机器深度学习中的奇妙应用

2015-09-04 MedSci MedSci原创

递归神经网络机器

递归神经网络（RNNs）有一些不可思议的地方。从花几十分钟训练我的第一个婴儿模型（相当随意挑选的超参数）开始，到训练出能够针对图像给出有意义描述的模型。有些时候，模型对于输出结果质量的简单程度的比例，会与你的期望相差甚远，而这还仅仅是其中一点。有如此令人震惊结果，许多人认为是因为RNNs非常难训练（事实上，通过多次试验，我得出了相反的结论）。一年前：我一直在训练RNNs，我多次见证了它们的强大

递归神经网络（RNNs）有一些不可思议的地方。从花几十分钟训练我的第一个婴儿模型（相当随意挑选的超参数）开始，到训练出能够针对图像给出有意义描述的模型。有些时候，模型对于输出结果质量的简单程度的比例，会与你的期望相差甚远，而这还仅仅是其中一点。有如此令人震惊结果，许多人认为是因为RNNs非常难训练（事实上，通过多次试验，我得出了相反的结论）。一年前：我一直在训练RNNs，我多次见证了它们的强大的功能和鲁棒性，而且它们的输出结果同样让我感到有趣。这篇文章将会给你展现它不可思议的地方。 顺便说句，在讲述这篇文章的同时，同样会将代码上传到 Github 上，这样你就可以基于多层LSTMs来训练字符级语言模型。你向它输入大量的文本，它会学习并产生类似的文本。你也可以用它来重新运行我下面的代码。但是我们正在不断超越自己；那么RNNs究竟是什么呢？ 递归神经网络 序列。你可能会问：是什么让递归神经网络如此特殊？Vanilla神经网络（卷积网络也一样）最大的局限之处就是它们API的局限性：它们将固定大小的向量作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率

作者：MedSci



版权声明：
本网站所有注明“来源：梅斯医学”或“来源：MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：梅斯医学”。其它来源的文章系转载文章，本网所有转载文章系出于传递更多信息之目的，转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
评论区 (3)
#插入话题
  1. 2015-09-06 ms6279672939590805

    #机器#

    0

  2. 2015-09-06 by2016

    #神经网络#

    0

  3. 2015-09-04 medcardio

    太难了，搞不懂

    0