Tensorflow入门教程(三十三)优化器算法简介（Momentum、NAG、Adagrad、Adadelta、RMS

#

#作者：韦访

#博客：https://blog.csdn.net/rookie_wei

#微信：1007895847

#添加微信的备注一下是CSDN的

#欢迎大家一起学习

#

------韦访 20181227

算法本身是梯度下降算法的一种扩展。总的来说，梯度下降算法的工作原理就是重复地计算梯度，然后在其相反的方向移动，使得小球沿着山谷向下走。在下面例子中，我们将前面的梯度下降算法改成分布式梯度下降。

为了博客的完整性，这里再来重复的说一下什么是梯度下降法，简单说，就是寻找一个参数θ，使得函数J(θ)最小。《机器学习入门(四)回归算法》（链接：https://blog.csdn.net/rookie_wei/article/details/83117493）中，我们简单的提了梯度下降常用的三种方法：批量梯度下降法(Batch gradient descent，BGD)、随机梯度下降法(Stochastic gradient descent，SGD)、小批量梯度下降法(mini-batch gradient descent，MBGD)。

批量梯度下降法：

每次迭代都考虑所有样本，这样做容易得到最优解，但是速度很慢。

%训练函数traingda--有自适应lr的梯度下降法,附加3个训练参数:lr_inc(学习率增长比，缺省为1.05。%训练函数traingdm--有动量的梯度下降法,附加1个训练参数mc(动量因子，缺省为0.9) %训练函数traingda--有自适应lr的梯度下降法,附加3个训练参数:lr_inc(学习率增长比，缺省为1.05。adam法根据损失函数针对每个参数梯度一阶矩估计和二阶矩估计动态调整每个参数学习率。

随机梯度下降：

每次随机找一个样本，这样迭代的速度很快，但是不一定每次都朝着收敛方法，效果比较差。

上式中衰变率算法公式，表示学习率，表示随机选中的样本。

SGD经常进行高方差更新，导致目标函数上图所示剧烈波动。

小批量梯度下降法：每次迭代选择一小部分数据来算，这样就达到了一个速度和效果的平衡，

上式中，表示学习率，表示小批量选中的样本。

我们在TensorFlow中训练就是每次一个batch数据，一般来说，batch大一点，效果会比较好，但是实际应用中也要考虑内存和效率，一般设置为50～256。

1）学习率的选择不好确定。从上面的三个式子可以看出，不管用什么方法，都得设置一个学习率。学习率决定了每次更新的速度，而学习率的设置是很难的，如果幅度过大，可能导致参数在极优值两侧来回移动，如果幅度过小，就会大大降低优化速度。

2）如果采用在训练期间调整学习率的方法，比如，根据预先定义的计划或者当两个epochs之间的目标的变化低于某个阈值时降低学习率，但是这些计划和阈值也得提前定义。

对于输入信号中频率为fo的信号，由于与ll和cl的谐振频率相同，ll和cl的串联电路对它的阻抗很小，频率为五的输入信号被ll和cl旁路到地而不能加到vt1基极，vt1就不能放大矗信号，当然输出信号中也就没有频率为fo的信号了。答 ： 委托是指具有相同函数签名（返回类型相同，参数类型、参数顺序及参数个数相同）的函数或方法的抽象，关键字为delegate。虽然两台发射机标称频率相同，但多少还是有所差异，当一台接收机同时收到两台发射机信号时，会产生两个发射频率差异的差拍干扰，如果两发射频率相差1khz,在接收机中即可听到1khz的差拍声，另外尽管发射频率相同，其频率的相位也不一定相同，因此会产生低频交流声的干扰。

4）对于非凸误差函数的另一个关键挑战是避免陷入其众多的次优局部极小处。困难实际上不是来自局部极小值，而是来自鞍点，即一个维度向上倾斜，另一个维度向下倾斜的点。这些鞍点通常周围的error是一样的，这使得SGD很难逃脱，因为梯度在所有维度上都接近于零。

一个光滑函数的鞍点如上图所示，x轴向上曲，y轴向下曲。

这种冲床具有在下死点附近的滑块速度会变得万分缓慢(和曲轴冲床衡量)之独到的滑块活动曲线，如图四所示。例如，如图3所示，假设下述的情况，其中最初对在正常状态下由实线表示的ber曲线中的最佳残留色散量o进行色散补偿控制，随后，如虚线所示，在osnr中出现未预料的劣化而使得ber曲线暂时发生偏移。最后，选择特性曲线选项卡，分别点击“幅频特性曲线”和“相频特性曲线”两个按钮开关，则波形显示控件上会分别显示出幅频特性曲线和相频特性曲线，如图7所示。

Momentum是一种有助于SGD在收敛方向上加速并且抑制震荡的方法。它通过将上一步的更新向量添加到当前更新向量来实现的。这么说可能有点懵逼，上公式就明白了，

其中，一般设置为0.9，对比批量梯度下降的公式，

就像我们把球推下山坡，当球向下滚动时，会积累动量，在途中变得越来越快。

2.traingdm:动量批梯度下降函数,也是一种批处理的前馈神经网络训练方法,不但具有更快的收敛速度,而且引入了一个动量项,有效避免了局部最小问题在网络训练中出现.。nesterov法，先在原来加速梯度方向大跳跃，再在该位置计算梯度值，用这个梯度值修正最终更新方向。①确定水平气压梯度力的方向：垂直于等压线并且由高压指向低压，若是曲线垂直于切线。

如下图所示，

其次，用头滚球的孩子，很难准确地将自己的头接触到球，往往爬了好半天追上球，可皮球一碰就滚远了，有时手臂不注意碰到球，球也跟着滚走了。就看见呆筱悠滚呀滚，顺着一个斜坡就滴溜下去了。接着，他粗略的翻了一下，又要求在纸上乱写乱画者下山，又有两成滚下山。

NAG就是一个能让动量项具有“先见之明”的方法。Momentum每下降一步是由前面下降方向的累积和当前点的梯度方向组合而成，而NAG是按照前面一小步位置的“超前梯度”和当前梯度进行组合，也就是说，小球先往前走一步，然后再按照那个位置来修正当前这一步的梯度方向，根据前一步“往回看”。根据下面的图来对比Momentum和NAG这两个算法的工作原理，

如上图所示，Momentum首先计算当前梯度（蓝色小矢量），然后在更新的累积梯度（蓝色大矢量）的方向上进行一次大跳跃。而NAG则首先在先前的累积梯度（棕色矢量）方向上进行一次大跳跃，再测量梯度，然后进行校正（红色矢量），绿色矢量就是NAG的更新结果。这种预期的更新防止了我们走得太快，并使响应能力提高，这显著提高了RNN在许多任务上的性能。

参数更新公式如下，

当学习率η=0.01, 衰减率 γ=0.9γ=0.9时，对比一下Momentum和NAG的收敛速度如下图所示，

可以看到，NAG震荡幅度小于Momentum，收敛速度要快于Momentum。

因此，即使能用反向传播计算输入数据上的梯度，但在实践为了进行参数更新，通常也只计算参数（比如w,b）的梯度。训练时可以利用反向传播算法计算梯度，再用梯度下降方法在参数空间中寻找最优解。涟波电流irac的标示至少应有低频及高频工作时两种规格数字，低频大约是以120hz做标准，高频大概是以 10khz做标准，但不同制造厂商可能会有略微的差别。

下面，我们用表示t时刻下参数的梯度，

SGD更新每个参数的式子如下，

上边这个是基于平衡的思想计算品位衰变率算法公式，但是这里涉及到一个贫矿率的问题，尾矿基本上可以理解为从堆放厂搬到选矿厂进行尾选，基于这种思想把贫矿率变成下面这个计算式，因为时间关系计算原理就不多说了，通过这个计算原理收取了一些经济参数，这个经济参数比较老，是2007年的参数，这是现在铁矿石的价格走势。（5）修改游戏参数修改游戏参数，方法是用鼠标点击要修改的参数项，然后输入新的值，参数如下：每局时间：每局倒计时用的时间押分键值：每按一次押分键所增加的押分数休息时间：每轮牌后的休息时间庄家抽水率：开出庄赢时奖分的抽水率（95——100）每天开牌轮数：每天开牌的轮数（5—12）押分的下限和上限值：每个门子押分的最低分和最高分，其中和的上限是指所有机台和押分的总数的上限。%训练函数traingdm--有动量的梯度下降法,附加1个训练参数mc(动量因子，缺省为0.9) %训练函数traingda--有自适应lr的梯度下降法,附加3个训练参数:lr_inc(学习率增长比，缺省为1.05。

其中，是一个对角矩阵，(i,i)元素是t时刻，参数的梯度平方和，Ɛ是一个避免被零除的平滑项。

类似lms 这种基于训练序列或者判决反馈值更新抽头系数的算法在运行过程中收敛速度更快，缺点就是使用大量的训练序列会降低信道的使用效率。即使单棵树的训练误差比精确分割的算法稍大，但在梯度提升（gradient boosting）的框架下没有太大的影响。它的一个缺点就是使用磁盘cache的时候非常占用磁盘空间，这源于diskcache的算法简单，该算法简单也导致cache的效率非常高。

Adadelta是Adagrad的扩展，Adadelta不会累积过去所有的平方梯度，而是过去所有的平方梯度的衰减平均值，时刻t的平均值仅取决于之前的平均值和当前梯度，如下式所示。

一般设为0.9，则Adadelta的参数更新式子如下，

由于分母相当于梯度的均方根（RMS），所以，可以用RMS简写上式如下，

论文作者认为，更新应该具有与参数相同的假设单位，所以他们首先定义另一个指数衰减平均值，这次，不是平方梯度，而是平方参数更新，如下式，

所以，参数更新的均方根误差为，

由于是未知的，我们用上一时刻的参数更新的RMS近似它，所以我们用来替换学习率η，最终得到Adadelta更新规则如下，

由上式可知，我们甚至到不需要设置默认的学习率η，因为学习率η已经在更新规则中消除了。

种和属、相等、同一、集聚、部分与整体、独立与非独立等等这些范畴都属于形式本体论范畴，具体而言，它们就是形式逻辑学所要处理的范畴--形式本质。再结合字符的4 种不同形式(首字形式n、中 间形式 m、尾字形式 和独立形式i),112个维文 字符可划分为16 个子集,每个子集所含的字符数如 所示。类比论证（类比论证（就是由两个对象的某些相同或相似的性质,推断它们在其他性质上也有可能相同或相似的一种推理形式就是由两个对象的某些相同或相似的性质,推断它们在其他性质上也有可能相同或相似的一种推理形式 ）开头运用类比手法，由“即使有美味的菜，不吃，不知道它的甘美”，引申到“即使好的道理，不学，不知道它的好处”两个转折复句，自然过渡到教与学的关系，为“教学相长”提供有力的论证开头运用类比手法，由“即使有美味的菜，不吃，不知道它的甘美”，引申到“即使好的道理，不学，不知道它的好处”两个转折复句，自然过渡到教与学的关系，为“教学相长”提供有力的论证4、引用《兑命》中的句子有什么作用。

一般设置为0.9，学习率η设置为0.001 。

自适应矩估计（Adaptive Moment Estimation，Adam）是另一种参数自适应学习率的方法，有点相当于RMSprop+Momentum，Adam除了像RMSprop存储过去梯度的平方的指数衰减平均值（如Adadelta和RMSprop） ，还像Momentum一样保留过去梯度的指数衰减平均值，和的式子如下，

当和初始化为0的向量时，Adam的作者发现它们会偏向于0，特别是在初始时间步骤，特别是当衰变率很小时（即和接近1）。可以通过计算偏差校正后的和来抵消这些偏差，

然后，使用这些来更新参数，式子如下，

一般情况下，设置为0.9，设置为0.999，Ɛ设置为。

1）如果训练的数据是稀疏的，则选择一个自适应学习率的算法（Adagrad、Adadelta、RMSprop、Adam）。

2）RMSprop是Adagrad一个扩展，它处理的是急剧下降的学习率。

3）Adam则为RMSprop添加了偏差校正和动量，随着梯度变得越来越稀疏，Adam在优化结束时略优于RMSprop。Adam可能是上述算法中最好的选择。

4）Adadelta、RMSprop、Adam三个算法非常相似，在类似的情况下，效果都不错。

总结：

优化器算法不止这几个，还有比如AdaMax、Nadam、AMSGrad等，这里就不讲了。

参考博客：

如果您感觉本篇博客对您有帮助，请打开支付宝，领个红包支持一下，祝您扫到99元，谢谢～～