統計分析：從小數據到大數據

內容描述

面對小數據和大數據，數據分析師應該如何收集數據信息？傳統的業務框架如何與統計學相關聯？測量學扮演著什麽角色？建模過程有哪些預分析技術和修正技術？建模工作完成後，如何解析？如何歸因？如何預測？等等，這些數據分析能力構成了本書的分析框架。本書分為8章，小數據與大數據分析模式的動態切換貫穿全書，展示了數據分析案例的模塊化分析思路。第1～3章為數據預分析部分，強調業務問題與統計問題的銜接；第4～6章為統計建模階段，其中附有對行業案例和業務敏感度的訓練、對統計和業務整合的審美建議，進而構造出一套具有靈活調校的數據分析模式。第7～8章解決的問題是，如何將晦澀難懂的統計解釋轉換成業務解釋。由衷地希望本書能夠成為數據運營人員與初中級數據分析師分析數據的行動指南。

目錄大綱

第1部分數據分析準備

第1章從業務到統計
1.1業務需求從哪來/ 002
1.1.1學習業務的最快途徑：閱讀運營報告/ 002
1.1.2當務之急：研究痛點/ 004
1.1.3數據分析之錨：未來戰略方向/ 005
1.1.4對數據分析“小白”的有益建議/ 005
1.2從小數據到大數據：數據體量與信息分佈/ 008
1.2.1實驗室：理論驗證/ 009
1.2.2問卷：理論驗證探索/ 011
1.2.3數據庫：業務驗證探索/ 012
1.2.4數據信息與統計模型/ 013
1.2.5算法應用：是否跨界/ 015
1.2.6算法特徵：角色/ 016
1.3數據分析流程的啟示/ 019
1.3.1假設：驗證與歸因/ 021
1.3.2小概率：黑天鵝的不確定/ 025
1.3.3抽樣技術：經濟是根本/ 026
1.3.4選擇模型：方法論/ 028
1.3.5顯著性判斷：可證偽/ 029
 
第2章變量角色與描述
2.1如何描述變量/ 032
2.1.1分類變量與連續變量的分界線/ 032
2.1.2分類變量及可視化/ 033
2.1 .3連續變量及可視化/ 037
2.2因變量的測量/ 040
2.2.1測量級別問題/ 040
2.2.2是否存在測量誤差/ 045
2.2.3誰會成為“主角” / 047
2.2.4 y的量化場景/ 050
2.3自變量的選擇/ 053
2.3.1驗證性：x的選擇/ 054
2.3.2探索性：x的選擇/ 054
 
第3章數據預分析
3.1填補缺失/ 056
3.1.1描述缺失數據：行、列、單元格/ 056
3.1.2缺失類型：隨機性/ 060
3.1.3小數據填補方案：精確性探討/ 061
3.1.4大數據填補方案：速度問題探討/ 068
3.2處理異常值/ 069
3.2.1單變量與雙變量異常/ 069
3.2.2無監督異常：聚類分析/ 070
3.2.3監督異常：回歸殘差分析/ 073
3.2.4小數據與大數據如何看待異常值/ 076
3.3消除共線性/ 080
3.3.1共線性及其危害/ 081
3.3.2小數據的方案：嶺回歸/ 082
3.3.3大數據方案：項目合併與逐步回歸/ 084
3.4內生性問題/ 088
3.4.1內生性及其危害/ 088
3.4.2問題核心：特徵選擇/ 089
3.4.3三駕馬車之一：數據庫的應對策略/ 094
3.5變量變換技術/ 102
3.5.1正態分佈變換：對數變換/ 102
3.5.2從0到1：老闆最喜歡的符號% / 104
3.5.3強異常值：秩的應用/ 105
3.5.4量綱：標準化變換/ 106
3.6編碼技術/ 107
3.6.1為什麼需要分箱化/ 107
3.6.2分箱技術要義：數據拐點/ 111
3.7避免過擬合/ 113
3.7.1導致過擬合：行列問題/ 113
3.7.2小數據為什麼不談過擬合/ 114
3.7.3避免過擬合：方法學/ 115
 
第２部分構建模型與修正技術

第4章線性回歸與統計家族
4.1差異性問題：方差分析/ 121
4.1.1差異的來源：主效應/ 121
4.1.2差異的來源：交互效應/ 128
4.1.3交互性解釋：交互效應圖製作/ 129
4.2結構性問題：回歸分析/ 131
4.2.1回歸分析流程/ 131
4.2.2相關的風向標作用：文氏圖/ 135
4.2.3偏相關的歸因：中介和調節/ 137
4.2.4回歸係數解釋：偏回歸圖/ 142
4.2.5如何相信R2 / 149
4.2.6以殘差看假設/ 152
4.2.7殘差信息的有和無/ 158
4.2.8小數據需求歸納：重結構輕預測/ 158
4.3算法進化REG：小數據專家的努力/ 159
4.3.1算法1.0：精確度結構/ 160
4.3.2算法2.0：精確度結構與預測/ 163
4.3.3算法3.0：速度預測/ 164
4.3. 4算法4.0：加速度/ 167
 
第5章Logistic回歸與統計家族
5.1預測性問題：Logistic回歸/ 168
5.1.1卡方的風向標作用/ 169
5.1.2不一樣的R2：預測分類表/ 170
5.1.3回歸係數解釋：or值與rr值/ 171
5.1.4修正技術：是x而不是y / 174
5.1.5大數據需求歸納：輕結構重預測/ 177
5.2算法進化Logistic：大數據與智能/ 178
5.2.1算法1.0：穩定性結構/ 178
5.2.2算法2.0：穩定性結構與預測/ 179
5.2.3算法3.0：速度預測/ 179
5.2 .4算法4.0：加速度/ 179
5.3算法3.0的榜樣：神經網絡/ 180
5.3.1神經網絡算法/ 180
5.3.2 DM算法預分析/ 183
5.3.3基於神經網絡的常規應用/ 185
 
第6章降維技術
6.1主成分回歸與壓縮技術/ 192
6.1.1四駕馬車：實驗室、問卷、數據庫、雲/ 192
6.1.2主成分算法：降維/ 192
6.1.3主成分與因子：誰應該有名字？/ 194
6.1.4主成分回歸：“回歸回歸”模式/ 196
6.2對應分析：一個市場調查案例/ 197
6.2.1案例背景介紹/ 197
6.2.2模型預分析/ 199
6.2.3構建模型：“廣義”雙標圖/ 203
6.2.4結論及營銷/ 214
 
第３部分模型應用與評估
 
第7章回歸類模型應用
7.1結構性問題：偏回歸係數/ 216
7.1.1單結構：偏的意義/ 216
7.1.2整體結構：條件規則/ 217
7.2預測性問題：估計值/ 217
7.2.1老樣本預測：內衍與市場細分/ 218
7.2.2新樣本預測：外推與潛在行為/ 219
7.3模型優劣與模型評價/ 219
7.3.1 R2變形記/ 219
7.3.2圖示R2：R2圖與ROC曲線/ 221
7.4模型優劣與業務評價/ 221
7.4.1小數據的標準：R2 / 221
7.4.2大數據的標準：老闆/ 222
 
第8章數據分析報告
8.1可視化圖形製作/ 223
8.1.1條形圖與折線圖/ 223
8.1.2頻數與分佈/ 223
8.1.3多變箱體圖/ 224
8.1.4散點圖與氣泡圖/ 225
8.2圖形製作與格式/ 227
8.2.1圖形製作：繪圖、顏色/ 227
8.2.2圖形模板製作與調用/ 229
8.3表格製作與格式/ 230
8.3.1表格製作：製表、格式/ 230
8.3.2表格模板製作與調用/ 232
8.3.3 OMS控制面板/ 234

附錄A數據集__

作者介紹

丁亞軍
自由職業者，兼CDA數據科學研究院研究員、電子工業出版社大數據專家委員會成員、學習路徑圖國際技術中心顧問、經管之家培訓中心講師。
研究方向：統計軟件與數據分析、市場調查研究、電商CRM數據挖掘、銀行申請與行為評分卡。