IBM SPSS Modeler 算法優化神器——Bagging 和 Boosting

---

在IBM SPSS Modeler中，每個算法都會有相應的默認參數設置，對初學者來說，即使不是很懂算法，也可以生成模型結果，但在實際項目中，我們為了使得模型更加的優化，提升模型的準確率，經常會對算法的參數做一些相應的調整，那么今天，我們給大家介紹兩個參數，分別是Bagging和Boosting,讓大家了解下它們是怎么用的，能帶來什么樣的模型優化結果。

用途：

Bagging和Boosting都是用來提高模型準確率的方法。

計算邏輯：

Bagging是Bootstrap Aggregating的一種方式，是一種根據均勻概率分布從數據集中重復抽樣（有放回的）的技術。每個自助樣本集都和原數據集一樣大。由于抽樣過程是有放回的，因此一些樣本可能在同個訓練數據集中出現多次，而其它一些卻可能被忽略。假設我設置了Bagging的次數是10，也就是說我會根據上面的重復抽樣方式，抽取10份數據，分別構建10個模型，得到10個預測結果，對最后的判定，如果是分類問題采用投票方式，對回歸問題采用簡單平均方法。

Boosting主要是AdaBoost (Adaptive Boosting),初始化時對每一個訓練集賦相等的權重1／n，然后用該學算法對訓練集訓練t輪，每次訓練后，對訓練失敗的訓練例賦以較大的權重，也就是讓學習算法在后續的學習中集中對比較難的訓練例進行學習，從而得到一個預測函數序列h_1,?, h_m , 其中h_i也有一定的權重，預測效果好的預測函數權重較大，反之較小。最終的預測函數H對分類問題采用有權重的投票方式，對回歸問題采用加權平均的方法對新示例進行判別。

Bagging與Boosting的區別：

二者的主要區別是取樣方式不同。Bagging采用均勻取樣，而Boosting根據錯誤率來取樣，因此Boosting的分類精度要優于Bagging。Bagging的訓練集的選擇是隨機的，各輪訓練集之間相互獨立，而Boosting的各輪訓練集的選擇與前面各輪的學習結果有關；Bagging的各個預測函數沒有權重，而Boosting是有權重的；Bagging的各個預測函數可以并行生成，而Boosting的各個預測函數只能順序生成。對于像神經網絡這樣極為耗時的學習方法，Bagging可通過并行訓練節省大量時間開銷。

Bagging和Boosting都可以有效地提高分類的準確性。在大多數數據中，Boosting的準確性比Bagging高；在有些數據集中，Boosting會引起退化------過度擬合。

IBM SPSS Modeler中的應用：

在IBM SPSS Modeler中，可以設置Bagging或Boosting功能的在算法包括：

Neural

Network

CHAID

QUEST

C&RT

Linear

以CHAID決策樹為例：

接下來我們通過電信流失客戶分析模型的創建來體驗下這兩個參數的設置對預測結果的影響。

首先，我們創建一數據流文件 ，如下圖：

Step1:連接數據源Excel文件，文件內容如下：

Step2:類型節點設置影響因素及目標：

Step3:選擇CHAID決策樹算法，并使用默認參數設置生成模型：

Step4：生成的模型結果，可以在摘要面板查看默認的參數設置內容：

Step5:通過評估節點查看模型準確率為84.49%：

接下來，我們第一次更改算法的設置內容，在構建選項的目標面板中，選中“增強模型穩定性”，在整體面板中，設置模型數量為“10”。

重新運行模型后，可以看到，得到10個模型結果及各自的準確率：

也可以看到該算法中參數設置的內容：

再用評估節點，看到新模型準確率與之前的準確率相比，增加到88.16%：

同樣的道理，如果我們設置為Boosting選項，生成的模型可以看到它的準確度緩慢提升：

同樣的，用評估節點，可以看到模型的準確率會增加到92.03%：

總結：

通過上面的例子，我們可以看到使用Bagging和Boosting對模型帶來的影響，可以在實際項目中嘗試著使用，當然啦，因為使用這兩個選項后，它的計算量會大大增加，比如原來要構建一個決策樹模型，現在要構建N個（取決于你設置的模型個數）,因此計算量是原來的N倍，所以，請耐心等待……

慧都控件網年終促銷第一波已開啟，全場6折起，豪禮搶不停>>>

截止時間：2016年10月30日

詳情請咨詢！

客服熱線：023-66090381