1.梯度消失

根據(jù)鏈式法則，如果每一層神經(jīng)元對上一層的輸出的偏導乘上權重結(jié)果都小于1的話，那么即使這個結(jié)果是0.99，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導會趨于0。

這種情況會導致靠近輸入層的隱含層神經(jīng)元調(diào)整極小。

2.梯度膨脹

根據(jù)鏈式法則，如果每一層神經(jīng)元對上一層的輸出的偏導乘上權重結(jié)果都大于1的話，在經(jīng)過足夠多層傳播之后，誤差對輸入層的偏導會趨于無窮大。

這種情況又會導致靠近輸入層的隱含層神經(jīng)元調(diào)整變動極大。

3. 梯度消失和梯度膨脹的解決方案

本文提供6種常見的解決梯度消失和膨脹的方法，歡迎閱讀學習。

3.1 預訓練加微調(diào)

此方法來自Hinton在2006年發(fā)表的一篇論文，Hinton為了解決梯度的問題，提出采取無監(jiān)督逐層訓練方法，其基本思想是每次訓練一層隱節(jié)點，訓練時將上一層隱節(jié)點的輸出作為輸入，而本層隱節(jié)點的輸出作為下一層隱節(jié)點的輸入，此過程就是逐層“預訓練”（pre-training）；在預訓練完成后，再對整個網(wǎng)絡進行“微調(diào)”（fine-tunning）。

Hinton在訓練深度信念網(wǎng)絡（Deep Belief Networks）中，使用了這個方法，在各層預訓練完成后，再利用BP算法對整個網(wǎng)絡進行訓練。此思想相當于是先尋找局部最優(yōu)，然后整合起來尋找全局最優(yōu)，此方法有一定的好處，但是目前應用的不是很多了。

3.2 梯度剪切、正則

梯度剪切這個方案主要是針對梯度爆炸提出的，其思想是設置一個梯度剪切閾值，然后更新梯度的時候，如果梯度超過這個閾值，那么就將其強制限制在這個范圍之內(nèi)，通過這種直接的方法就可以防止梯度爆炸。

注：在WGAN中也有梯度剪切限制操作，但是和這個是不一樣的，WGAN限制梯度更新信息是為了保證lipchitz條件。

另外一種解決梯度爆炸的手段是采用權重正則化（weithts regularization）比較常見的是l1正則，和l2正則，在各個深度框架中都有相應的API可以使用正則化，比如在tensorflow中，搭建網(wǎng)絡的時候已經(jīng)設置了正則化參數(shù)，則調(diào)用以下代碼可以直接計算出正則損失：

regularization_loss = tf.add_n(tf.losses.get_regularization_losses(scope='my_resnet_50'))

如果沒有設置初始化參數(shù)，也可以使用以下代碼計算l2 正則損失：

l2_loss = tf.add_n([tf.nn.l2_loss(var) for var in tf.trainable_variables() if 'weights' in var.name])

正則化是通過對網(wǎng)絡權重做正則限制過擬合，仔細看正則項在損失函數(shù)的形式：

其中，α 是指正則項系數(shù)，因此，如果發(fā)生梯度爆炸，權值的范數(shù)就會變的非常大，通過正則化項，可以部分限制梯度爆炸的發(fā)生。

注：事實上，在深度神經(jīng)網(wǎng)絡中，往往是梯度消失出現(xiàn)的更多一些。

3.3 relu、leakrelu、elu等激活函數(shù)

Relu:思想也很簡單，如果激活函數(shù)的導數(shù)為1，那么就不存在梯度消失爆炸的問題了，每層的網(wǎng)絡都可以得到相同的更新速度，relu就這樣應運而生。