過擬合(Overfitting)是深度神經網絡(DNN)中的一個重要的問題：該模型學習僅對訓練集合進行分類，使其自身適應于訓練示例，而不是學習能夠對通用實例進行分類的決策邊界。近些年，研究者們已經提出了許多過擬合問題的解決方案，其中，Dropout因為其簡明且以經驗為基礎的良好結果而占據主流。

Dropout

Dropout的視覺表示，如上圖所示。圖(a)是應用Dropout之前的神經網絡，圖(b)是應用Dropout之后同樣的神經網絡。參數經過學習后，左邊的網絡是在訓練和測試時使用同樣的網絡結構。

Dropout的思想是訓練DNNs的整體然后平均整體的結果，而不是訓練單個DNN。DNNs以概率p丟棄神經元，因此保持其它神經元概率為q=1-p。當一個神經元被丟棄時，無論其輸入及相關的學習參數是多少，其輸出都會被置為0。丟棄的神經元在訓練階段的前向傳播和后向傳播階段都不起作用：因為這個原因，每當一個單一的神經元被丟棄時，訓練階段就好像是在一個新的神經網絡上完成。

引用自Dropout作者：

在標準神經網絡中，每個參數接收的導數表明其應該如何變化才能使最終損失函數降低，并給定所有其它神經網絡單元的狀態。因此神經單元可能以一種可以修正其它神經網絡單元的錯誤的方式進行改變。而這就可能導致復雜的共適應(co-adaptations)。由于這些共適應現象沒有推廣到未見的數據，將導致過擬合。我們假設對每個隱藏層的神經網絡單元，Dropout通過使其它隱藏層神經網絡單元不可靠從而阻止了共適應的發生。因此，一個隱藏層神經元不能依賴其它特定神經元去糾正其錯誤。

簡而言之：Dropout在實踐中表現良好，是因為它在訓練階段阻止了神經元的共適應。現在我們對Dropout有了直觀的想法，讓我們進行更深層次的分析。

Dropout是如何工作的？

如前所述，Dropout以概率p關閉神經元，相應的，以大小為q=1-p的概率開啟其他神經元。每個單個神經元有同等概率被關閉。這意味著：

給定

• h(x) = xW + b 是di的一個線性投影(di是dh中的一個維度輸入，dh是維度輸出空間);
• a(h)是一個激活函數。

對Dropout的應用建模是可行的，僅僅對于訓練階段來說，給定的投影作為一個修改的激活函數：

其中，

是伯努利向量Xi的一個dh維的向量。

一個伯努利隨機變量有以下概率的質量分布：

其中，k是可能的輸出結果。

顯然，這個隨機變量完美的模擬了在單個神經元上Dropout的過程。事實上，神經元被以概率 p = P(k=1) 被關閉，否則保持不變。

它可以看作Dropout在第i個神經元上的應用：

其中，P(Xi=0)=p.

因為在訓練階段，一個神經元以概率q保持;在測試階段，我們必須模擬在訓練階段使用的神經網絡的整體的行為。為此，作者建議在測試階段將激活函數以q為比例系數進行縮放，以便將訓練階段產生的預期輸出作為測試階段使用的單個輸出。因此：

訓練階段：

測試階段：

反向Dropout

一個略有不同的方法是使用反向Dropout(Inverted Dropout)。該方法包括在訓練階段縮放激活函數，從而使得其測試階段保持不變。比例因子是保持概率的倒數：

因此，

訓練階段：

測試階段：

反向Dropout有助于只定義一次模型并且只改變了一個參數(保持/丟棄概率)以使用同一模型進行訓練和測試。相反，直接Dropout，迫使你在測試階段修改網絡。因為如果你不乘以比例因子q，神經網絡的輸出將產生更高的相對于連續神經元所期望的值(因此神經元可能飽和)：這就是為什么反向Dropout是更加常見的實現方式。

一組神經元的Dropout

我們可以很容易的注意到，具有n個神經元的層h，在單個訓練步驟中，可以被看作n個伯努利試驗的集合，每個實驗成功的概率等于p。因此，層h具有被丟棄的神經元的輸出等于：

由于每個神經元現在被建模為伯努利隨機變量，并且所有這些隨機變量是獨立分布的，所以丟棄的神經元的總數也是隨機變量，稱為二項式(Binomial)：

其中，在n個實驗中獲得k次成功的概率由概率質量分布給出：

這個公式很容易理解：

pk(1-p)n-k 是n個實驗中獲得k個成功的單個序列的概率，因此是n-k次失敗。

是用于計算可能的成功序列的數量的二項式系數。

我們現在可以使用這個分布來分析丟棄指定數量神經元的概率。當使用Dropout時，我們為選定的層定義一個固定的Dropout概率p，我們期望從中降低一定比例數量的神經元。例如，如果我們應用Dropout的層具有n=1024個神經元，p=0.5，我們期望512個被丟棄，讓我們來驗證：

因此，準確丟棄np=512個神經元的概率只有0.025!Python3可以幫助我們可視化不同p值和固定值n的神經元，代碼已注釋。

二項分布在np附近時非常尖銳

從上圖我們可以看出，無論p值是多少，平均下降的神經元數量都與np成正比，事實上：

此外，我們可以注意到，函數分布在p=0.5附近幾乎是對稱的，并且隨著與p=0.5距離的增加，丟棄np神經元的概率增加。為補償激活值，縮放因子已被作者添加，因為他們期望在訓練階段期間僅保持比例為1-p的神經元百分比。在訓練階段，相反，100%的神經元保持開啟狀態，因此該值應相應地按比例縮小。

Dropout和其它規則

Dropout通常與L2正則化和其它參數約束技術(如Max Norm1)一起使用。正則化有助于保持模型參數值在可控范圍內增長。簡而言之，L2正則化是損失的附加項，其中λ∈[0,1]是成為正則化強度的超參數，F(W;x)是模型函數，E是實際值y與預測值y^之間的誤差函數。

我們很容易理解，當通過梯度下降進行反向傳播時，其更新量減少。如果η是學習速率，則參數w∈W的更新量為

反向Dropout和其它正則化

由于Dropout不會阻止參數增長，應用L2正則化(或限制參數值的任何其它正則化方法)會有作用。添加縮放因子，上述方程變為：

可以容易的看出，當使用反向Dropout時，學習速率被縮放至q的因子。由于q具有在[0,1]之間的值，η和q之間的比率可以在如下區間變化：

因此，我們將其稱q為推動因子(boosting factor)，因為它推動了學習速率。此外，我們將r(q)稱為有效學習速率(effective learning rate)。總之，有效學習速率相對于所選擇的學習速率更高：由于這個原因，限制參數值的正則化可以幫助簡化學習速率選擇過程。

總結

1、Dropout有兩種方式：直接Dropout(不常用)和反向Dropout。

2、可以使用伯努利隨機變量來對單個神經元上的Dropout進行建模。

3、可以使用二項式隨機變量來對一組神經元上的Dropout進行建模。

4、即使準確降低np神經元的概率很低，np神經元在具有n個神經元的神經網絡層上也會平均下降。

5、反向Dropout可以提高學習速率。

6、反向Dropout應該與限制參數值的其他歸一化技術一起使用，以便簡化學習速率選擇過程。

7、Dropout有助于在深度神經網絡中防止過擬合。

重大喜訊，慧都學院將在3月底有一堂《基于圖的大數據分析》免費公開課，點擊立即報名。