训练神经网络的五大算法
2016-10-27 Alberto Quesada 译：何永灿 CSDN
神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。 问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正则项则是控制模型的复杂程度，防止出现过拟合现象。 损失函数的函数值由模型的参数（权重值和偏置值）所决定。我们可以把两部分参
神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。 问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正则项则是控制模型的复杂程度，防止出现过拟合现象。 损失函数的函数值由模型的参数（权重值和偏置值）所决定。我们可以把两部分参数合并为一个n维的权重向量，记为w。下图是损失函数f(w)的图示。 如上图所示，w*是损失函数的最小值。在空间内任意选择一个点A，我们都能计算得到损失函数的一阶、二阶导数。一阶导数可以表示为一个向量： ᐁif(w) = df/dwi (i = 1,…,n) 同样的，损失函数的二阶导数可以表示为海森矩阵（ Hessian Matrix ）： Hi,jf(w) = d2f/dwi·dwj (i,j = 1,…,n) 多变量的连续可微分函数的求解问题一直被人们广泛地研究。许多的传统方法都能被直接用于神经网络模型的求解。 一维优化方法 尽管损失函数的值需要由多个参数决定，但是一维优化方法在这里也
作者：Alberto Quesada 译：何永灿
版权声明：
本网站所有注明“来源：梅斯医学”或“来源：MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：梅斯医学”。其它来源的文章系转载文章，本网所有转载文章系出于传递更多信息之目的，转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
小提示：本篇资讯需要登录阅读，点击跳转登录
谢谢分享！
75
若能出个简化版的视频就好了
68
#神经网络#
32
??????
78
酒红色滚滚滚
83