金融行業風險預測模型實戰
【課程目標】
本課程專注于金融行業的風控模型，面向數據分析部等專門負責數據分析與建模的人士。
 
通過本課程的學習，達到如下目的：
1、掌握數據建模的基本過程和步驟。
2、掌握數據建模前的屬性篩選的系統方法，為建模打下基礎。
3、掌握常用的分類預測模型，包括邏輯回歸、決策樹、神經網絡、判別分析等等，以及分類模型的優化。
4、掌握金融行業信用評分卡模型，構建信用評分模型。
 
主要內容包括數據建模的過程和步驟，以及建模涉及到的分析方法、分析模型，以及模型優化等。
本課程突出數據挖掘的實際應用，結合行業的典型應用特點，從實際問題入手，引出相關知識，進行大數據的收集與處理；探索數據之間的規律及關聯性，幫助學員掌握系統的數據預處理方法；介紹常用的模型，訓練模型，并優化模型，以達到最優分析結果。
 
【授課時間】
2-3天時間
【授課對象】
業務支撐、網絡中心、IT系統部、數據分析部等對業務數據分析有較高要求的相關專業人員。
 
【學員要求】
1、每個學員自備一臺便攜機(必須)。
2、便攜機中事先安裝好Office Excel 2013版本及以上。
3、便攜機中事先安裝好IBM SPSSStatistics v24版本以上軟件。
注：講師可以提供試用版本軟件及分析數據源。
 
【授課方式】
基礎知識精講+案例演練+ 實際業務問題分析 + SPSS實際操作
 
【課程大綱】

第一部分：              數據建模基本過程

1、 預測建模六步法
Ø  選擇模型：基于業務選擇恰當的數據模型
Ø  屬性篩選：選擇對目標變量有顯著影響的屬性來建模
Ø  訓練模型：采用合適的算法對模型進行訓練，尋找到最合適的模型參數
Ø  評估模型：進行評估模型的質量，判斷模型是否可用
Ø  優化模型：如果評估結果不理想，則需要對模型進行優化
Ø  應用模型：如果評估結果滿足要求，則可應用模型于業務場景
2、 數據挖掘常用的模型
Ø  數值預測模型：回歸預測、時序預測等
Ø  分類預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等
Ø  市場細分：聚類、RFM、PCA等
Ø  產品推薦：關聯分析、協同過濾等
Ø  產品優化：回歸、隨機效用等
Ø  產品定價：定價策略/最優定價等
3、 屬性篩選/特征選擇/變量降維
Ø  基于變量本身特征
Ø  基于相關性判斷
Ø  因子合并（PCA等）
Ø  IV值篩選（評分卡使用）
Ø  基于信息增益判斷（決策樹使用）
4、 模型評估
Ø  模型質量評估指標：R^2、正確率/查全率/查準率/特異性等
Ø  預測值評估指標：MAD、MSE/RMSE、MAPE、概率等
Ø  模型評估方法：留出法、K拆交叉驗證、自助法等
Ø  其它評估：過擬合評估
5、 模型優化
Ø  優化模型：選擇新模型/修改模型
Ø  優化數據：新增顯著自變量
Ø  優化公式：采用新的計算公式
6、 模型實現算法（暫略）
7、 好模型是優化出來的
案例：通信客戶流失分析及預警模型
 

第二部分：              屬性篩選方法

問題：如何選擇合適的屬性來進行建模預測？
比如：價格是否可用于產品銷量的預測？套餐的合理性是否會影響客戶流失？在欺詐風險中有哪些數據會有異常表現？
 
1、 屬性篩選/變量降維的常用方法
Ø  基于變量本身特征來選擇屬性
Ø  基于數據間的相關性來選擇屬性
Ø  基于因子合并（如PCA分析）實現變量的合并
Ø  利用IV值篩選
Ø  基于信息增益來選擇屬性
2、 相關分析（衡量變量間的線性相關性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？
Ø  相關分析簡介
Ø  相關分析的三個種類
²  簡單相關分析
²  偏相關分析
²  距離相關分析
Ø  相關系數的三種計算公式
²  Pearson相關系數
²  Spearman相關系數
²  Kendall相關系數
Ø  相關分析的假設檢驗
Ø  相關分析的四個基本步驟
演練：年齡和收入的相關分析
演練：營銷費用會影響銷售額嗎
演練：工作時間與收入有相關性嗎
演練：話費與網齡的相關分析
Ø  偏相關分析
²  偏相關原理：排除不可控因素后的兩變量的相關性
²  偏相關系數的計算公式
²  偏相關分析的適用場景
Ø  距離相關分析
3、 方差分析(衡量類別變量與數據變量的相關性)
問題：哪些才是影響銷量的關鍵因素？
Ø  方差分析的應用場景
Ø  方差分析的三個種類
²  單因素方差分析
²  多因素方差分析
²  協方差分析
Ø  方差分析的原理
Ø  方差分析的四個步驟
Ø  解讀方差分析結果的兩個要點
演練：用戶收入對銀行欠貸的影響分析
演練：家庭人數對銀行欠貸的影響分析
演練：年齡大小對欠貸有影響嗎
演練：尋找影響貸款風險的關鍵因素
Ø  多因素方差分析原理
Ø  多因素方差分析的作用
Ø  多因素方差結果的解讀
演練：廣告形式、地區對銷量的影響因素分析（多因素）
Ø  協方差分析原理
Ø  協方差分析的適用場景
演練：飼料對生豬體重的影響分析（協方差分析）
4、 列聯分析/卡方檢驗（兩類別變量的相關性分析）
Ø  交叉表與列聯表
Ø  卡方檢驗的原理
Ø  卡方檢驗的幾個計算公式
Ø  列聯表分析的適用場景
演練：不同的信用卡類型會有不同欠貸風險嗎
演練：有無住房對欠貸的影響分析
案例：行業/規模對風控的影響分析
5、 相關性分析各種方法的適用場景
6、 主成份分析（PCA）
Ø  因子分析的原理
Ø  因子個數如何選擇
Ø  如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
 

第三部分：              回歸預測模型篇

問題：如何預測產品的銷量/銷售金額？如果產品跟隨季節性變動，該如何預測？新產品上市，如果評估銷量上限及銷售增速？
1、 常用的數值預測模型
Ø  回歸預測
Ø  時序預測
2、 回歸預測/回歸分析
問題：如何預測未來的銷售量（定量分析）？
Ø  回歸分析的基本原理和應用場景
Ø  回歸分析的種類（一元/多元、線性/曲線）
Ø  得到回歸方程的四種常用方法
²  Excel函數
²  散點圖+趨勢線
²  線性回歸工具
²  規范求解
Ø  線性回歸分析的五個步驟
Ø  回歸方程結果的解讀要點
Ø  評估回歸模型質量的常用指標
Ø  評估預測值的準確度的常用指標
演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）
演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）
演練：讓你的營銷費用預算更準確
演練：如何選擇最佳的回歸預測模型（曲線回歸）
Ø  帶分類變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源配置（營業廳）
3、 自動篩選不顯著自變量
 

第四部分：              回歸預測模型優化篇

1、 回歸分析的基本原理
Ø  三個基本概念：總變差、回歸變差、剩余變差
Ø  方程的顯著性檢驗：是否可以做回歸分析？
Ø  因素的顯著性檢驗：自變量是否可用？
Ø  擬合優度檢驗：回歸模型的質量評估？
Ø  理解標準誤差的含義：預測的準確性？
2、 回歸模型優化思路：尋找最佳回歸擬合線
Ø  如何處理預測離群值（剔除離群值）
Ø  如何剔除非顯著因素（剔除不顯著因素）
Ø  如何進行非線性關系檢驗（增加非線性自變量）
Ø  如何進行相互作用檢驗（增加相互作用自變量）
Ø  如何進行多重共線性檢驗（剔除共線性自變量）
Ø  如何檢驗誤差項（修改因變量）
Ø  如何判斷模型過擬合（模型過擬合判斷）
案例：模型優化案例
3、 規劃求解工具簡介
4、 自定義回歸模型（如何利用規劃求解進行自定義模型）
案例：如何對餐廳客流量進行建模及模型優化
5、 好模型都是優化出來的

第五部分：              分類預測模型

問題：如何評估客戶購買產品的可能性？或者說，影響客戶購買意向的產品關鍵特性是什么？
1、 分類預測模型概述
2、 常見分類預測模型
3、 評估分類模型的常用指標
Ø  正確率、查全率/查準率、特異性等
4、 邏輯回歸分析模型（LR）
問題：如果評估用戶是否購買產品的概率？
Ø  邏輯回歸模型原理及適用場景
Ø  邏輯回歸的種類
²  二項邏輯回歸
²  多項邏輯回歸
Ø  如何解讀邏輯回歸方程
Ø  帶分類自變量的邏輯回歸分析
Ø  多項邏輯回歸
案例：如何評估用戶是否會有違約風險（二項邏輯回歸）
案例：多品牌選擇模型分析（多項邏輯回歸）
5、 決策樹分類（DT）
問題：如何提取客戶流失者、拖欠貨款者的特征？如何預測其流失的概率？
Ø  決策樹分類的原理
Ø  決策樹的三個關鍵問題
²  如何選擇最佳屬性來構建節點
²  如何分裂變量
²  如何修剪決策樹
Ø  選擇最優屬性
²  熵、基尼索引、分類錯誤
²  屬性劃分增益
Ø  如何分裂變量
²  多元劃分與二元劃分
²  連續變量離散化（最優劃分點）
Ø  修剪決策樹
²  剪枝原則
²  預剪枝與后剪枝
Ø  構建決策樹的四個算法
²  C5.0、CHAID、CART、QUEST
²  各種算法的比較
Ø  如何選擇最優分類模型？
案例：識別銀行欠貨風險，提取欠貨者的特征
案例：客戶流失預警與客戶挽留模型
6、 人工神經網絡（ANN）
Ø  神經網絡概述
Ø  神經網絡基本原理
Ø  神經網絡的結構
Ø  神經網絡的建立步驟
Ø  神經網絡的關鍵問題
Ø  BP反向傳播網絡（MLP）
Ø  徑向基網絡（RBF）
案例：評估銀行用戶拖欠貨款的概率
7、 判別分析（DA）
Ø  判別分析原理
Ø  距離判別法
Ø  典型判別法
Ø  貝葉斯判別法
案例：MBA學生錄取判別分析
案例：上市公司類別評估
8、 最近鄰分類（KNN）
Ø  基本原理
Ø  關鍵問題
9、 貝葉斯分類（NBN）
Ø  貝葉斯分類原理
Ø  計算類別屬性的條件概率
Ø  估計連續屬性的條件概率
Ø  貝葉斯網絡種類：TAN/馬爾科夫毯
Ø  預測分類概率（計算概率）
案例：評估銀行用戶拖欠貨款的概率
10、     支持向量機（SVM）
Ø  SVM基本原理
Ø  線性可分問題：最大邊界超平面
Ø  線性不可分問題：特征空間的轉換
Ø  維空難與核函數
 

第六部分：              分類模型優化篇（集成方法）

1、 分類模型的優化思路：利用弱分類器構建強分類模型
2、 集成方法的基本原理
Ø  選取多個數據集，構建多個弱分類器
Ø  多個弱分類器投票決定
3、 集成方法/元算法的種類
Ø  Bagging算法
Ø  Boosting算法
4、 Bagging原理
Ø  如何選擇數據集
Ø  如何進行投票
Ø  隨機森林
5、 Boosting的原理
Ø  AdaBoost算法流程
Ø  樣本選擇權重計算公式
Ø  分類器投票權重計算公式
 

第七部分：              銀行信用評分卡模型

1、 信用評分卡模型簡介
2、 評分卡的關鍵問題
3、 信用評分卡建立過程
Ø  篩選重要屬性
Ø  數據集轉化
Ø  建立分類模型
Ø  計算屬性分值
Ø  確定審批閾值
4、 篩選重要屬性
Ø  屬性分段
Ø  基本概念：WOE、IV
Ø  屬性重要性評估
5、 數據集轉化
Ø  連續屬性最優分段
Ø  計算屬性取值的WOE
6、 建立分類模型
Ø  訓練邏輯回歸模型
Ø  評估模型
Ø  得到字段系數
7、 計算屬性分值
Ø  計算補償與刻度值
Ø  計算各字段得分
Ø  生成評分卡
8、 確定審批閾值
Ø  畫K-S曲線
Ø  計算K-S值
Ø  獲取最優閾值
案例：構建銀行小額貸款的用戶信用模型

第八部分：              數據預處理篇（了解你的數據集）

1、數據預處理的主要任務
Ø  數據集成：多個數據集的合并
Ø  數據清理：異常值的處理
Ø  數據處理：數據篩選、數據精簡、數據平衡
Ø  變量處理：變量變換、變量派生、變量精簡
Ø  數據歸約：實現降維，避免維災難
2、數據集成
Ø  外部數據讀入：Txt/Excel/SPSS/Database
Ø  數據追加（添加數據）
Ø  變量合并（添加變量）
3、數據理解（異常數據處理）
Ø  取值范圍限定
Ø  重復值處理
Ø  無效值/錯誤值處理
Ø  缺失值處理
Ø  離群值/極端值處理
Ø  數據質量評估
4、數據準備：數據處理
Ø  數據篩選：數據抽樣/選擇（減少樣本數量）
Ø  數據精簡：數據分段/離散化（減少變量的取值個數）
Ø  數據平衡：正反樣本比例均衡
5、數據準備：變量處理
Ø  變量變換：原變量取值更新，比如標準化
Ø  變量派生：根據舊變量生成新的變量
Ø  變量精簡：降維，減少變量個數
6、數據降維
Ø  常用降維的方法
Ø  如何確定變量個數
Ø  特征選擇：選擇重要變量，剔除不重要的變量
²  從變量本身考慮
²  從輸入變量與目標變量的相關性考慮
²  對輸入變量進行合并
Ø  因子分析（主成分分析）
²  因子分析的原理
²  因子個數如何選擇
²  如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
7、數據探索性分析
Ø  常用統計指標分析
Ø  單變量：數值變量/分類變量
Ø  雙變量：交叉分析/相關性分析
Ø  多變量：特征選擇、因子分析
演練：描述性分析（頻數、描述、探索、分類匯總）
8、數據可視化
Ø  數據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
Ø  圖形的表達及適用場景
演練：各種圖形繪制
 

第九部分：              數據建模實戰篇

1、電信業客戶流失預警和客戶挽留模型實戰
2、銀行欠貸風險預測模型實戰
3、銀行信用卡評分模型實戰
 
結束：課程總結與問題答疑。