機器學習：算法背後的理論與優化
內容描述
以機器學習為核心的人工智能已經成為新一代生產力發展的主要驅動因素。新的技術正在向各行各業 滲透，大有變革各個領域的趨勢。傳統產業向智慧產業的升級迫使原行業從業人員逐漸轉型，市場上對相 關學習材料的需求也日益高漲。幫助廣大學習者更好地理解和掌握機器學習，是編寫本書的目的。 本書針對機器學習領域中最常見的一類問題——有監督學習，從入門、進階、深化三個層面由淺入深 地進行了講解。三個層麵包括基礎入門算法、核心理論及理論背後的數學優化。入門部分用以邏輯回歸為 代表的廣義線性模型為出發點，引入書中所有涉及的知識點；進階部分的核心理論涵蓋了經驗風險最小、 結構風險最小、正則化及統一的分類邊界理論；深化部分的數學優化則主要包括最大熵原理、拉格朗日對 偶等理論在數學上的推導，以及對模型求解的主流最優化方法的探討等。 本書由淺入深，從個別到普便，從自然算法到優化算法，從各個角度深入剖析了機器學習，力求幫助 讀者循序漸進地掌握機器學習的概念、算法和優化理論。
目錄大綱
第1 章線性回歸與邏輯回歸. 1
1.1 線性回歸. 1
1.1.1 函數關係與統計關係.1
1.1.2 統計與機器學習. 2
1.2 最小二乘法與高斯-馬爾可夫定理. 5
1.2.1 最小二乘法. . 5
1.2.2 高斯-馬爾可夫定理. . 6
1.3 從線性回歸到邏輯回歸. 8
1.4 最大似然估計求解邏輯回歸. . 9
1.5 最小二乘與最大似然. . 11
1.5.1 邏輯回歸與伯努利分佈. 11
1.5.2 線性回歸與正態分佈. 12
1.6 小結. 13
參考文獻. 13
第2 章廣義線性模型. 15
2.1 廣義線性模型概述.15
2.1.1 廣義線性模型的定義. 15
2.1.2 鏈接函數與指數分佈簇. 17
2.2 廣義線性模型求解.20
2.3 最大似然估計Ⅰ：Fisher 信息. 21
2.4 最大似然估計Ⅱ：KL 散度與Bregman 散度. 23
2.4.1 KL 散度. . 23
2.4.2 Bregman 散度. . 25
2.5 小結. 26
X
參考文獻. 26
第3 章經驗風險最小. 28
3.1 經驗風險與泛化誤差概述. .28
3.1.1 經驗風險. 30
3.1.2 泛化誤差. 30
3.1.3 欠擬合和過擬合. . 34
3.1.4 VC 維. . 37
3.2 經驗風險最小的算法. . 40
3.3 分類邊界. . 42
3.3.1 分類算法的損失函數. 42
3.3.2 分類算法的邊界. . 45
3.4 小結. 48
參考文獻. 48
第4 章結構風險最小. 49
4.1 經驗風險最小和過擬合. . 49
4.2 結構風險最小和正則化. . 51
4.2.1 從空間角度理解SRM 52
4.2.2 從貝葉斯觀點理解SRM 54
4.3 回歸的正則化. 55
4.3.1 L2 正則化和嶺回歸. 56
4.3.2 L1 正則化和Lasso 回歸. . 57
4.3.3 L1、L2 組合正則化和ElasticNet 回歸. . 58
4.4 分類的正則化. 60
4.4.1 支持向量機和L2 正則化. 60
4.4.2 XGBoost 和樹正則化. 62
4.4.3 神經網絡和DropOut 正則化. 65
4.4.4 正則化的優缺點. . 66
4.5 小結. 67
參考文獻. 67
第5 章貝葉斯統計與熵.68
5.1 統計學習的基礎：參數估計. .68
5.1.1 矩估計. .68
XI
5.1.2 最大似然估計.69
5.1.3 最小二乘法. 71
5.2 概率分佈與三大統計思維. .72
5.2.1 頻率派和正態分佈. . 72
5.2.2 經驗派和正態分佈. . 75
5.2.3 貝葉斯派和正態分佈. 76
5.2.4 貝葉斯統計和熵的關係. 79
5.3 信息熵的理解. 79
5.3.1 信息熵簡史. 79
5.3.2 信息熵定義. 80
5.3.3 期望編碼長度解釋. . 81
5.3.4 不確定性公理化解釋. 81
5.3.5 基於熵的度量.84
5.4 最大熵原理. . 86
5.4.1 最大熵的直觀理解. . 86
5.4.2 最大熵解釋自然指數分佈簇. . 87
5.4.3 最大熵解釋最大似然估計.89
5.5 小結. 90
參考文獻. 90
第6 章基於熵的Softmax. .92
6.1 二項分佈和多項分佈. . 92
6.2 Logistic 回歸和Softmax 回歸. .93
6.2.1 廣義線性模型的解釋. 93
6.2.2 Softmax 回歸. 94
6.2.3 最大熵原理與Softmax 回歸的等價性.96
6.3 最大熵條件下的Log-Linear 101
6.4 多分類界面.103
6.4.1 感知機和多分類感知機. . 104
6.4.2 多分類感知機和結構感知機. 105
6.5 概率圖模型裡面的Log-Linear 106
6.6 深度學習裡面的Softmax 層. . 108
6.7 小結. . 109
XII
參考文獻. . 109
第7 章拉格朗日乘子法. 111
7.1 凸共軛. .111
7.1.1 凸共軛的定義. 111
7.1.2 凸共軛定理. . 113
7.2 拉格朗日對偶. . 114
7.2.1 拉格朗日對偶概述.115
7.2.2 Salter 條件. . 117
7.2.3 KKT 條件. 118
7.3 Fenchel 對偶. .120
7.4 增廣拉格朗日乘子法. 123
7.4.1 近端. 123
7.4.2 增廣拉格朗日乘子法和對偶上升算法. .126
7.5 交替方向乘子法. . 129
7.5.1 對偶分解. . 130
7.5.2 交替方向乘子法概述. . 131
7.6 小結. . 131
參考文獻. . 132
第8 章隨機梯度下降法. 134
8.1 隨機梯度下降法概述. 134
8.1.1 機器學習場景. 134
8.1.2 隨機梯度下降法的定義. . 135
8.1.3 隨機梯度下降法收斂性分析. 136
8.1.4 收斂性證明. . 139
8.2 隨機梯度下降法進階Ⅰ：方差縮減. 140
8.2.1 方差縮減的效果. 141
8.2.2 方差縮減的實現. 143
8.3 隨機梯度下降法進階Ⅱ：加速與適應. 145
8.3.1 加速. 146
8.3.2 適應. 148
8.3.3 加速￡ 適應. 151
8.4 隨機梯度下降法的並行實現. . 156
XIII
8.5 小結. . 160
參考文獻. . 161
第9 章常見的最優化方法. 163
9.1 最速下降算法. . 163
9.1.1 l2 範數與梯度下降法. . 164
9.1.2 l1 範數與坐標下降算法. . 165
9.1.3 二次範數與牛頓法.166
9.2 步長的設定.168
9.2.1 Armijo-Goldstein 準則. 169
9.2.2 Wolfe-Powell 準則. 170
9.2.3 回溯線搜索. . 171
9.3 收斂性分析.171
9.3.1 收斂速率. . 172
9.3.2 對目標函數的一些假設. . 173
9.4 一階算法：梯度下降法. 177
9.5 二階算法：牛頓法及其衍生算法. .178
9.5.1 牛頓法與梯度下降法的對比. 179
9.5.2 擬牛頓法. . 180
9.5.3 從二次範數的角度看牛頓法. 182
9.6 小結. . 183
參考文獻. . 185
作者介紹
機器學習-算法背後的理論與優化
史春奇、卜晶禕、施智平著
史春奇博士，畢業於日本京都大學，美國Brandeis University博士後，現為港輝金融信息Vice President， 曾任通用電氣（中國）有限公司資深數據科學家。
卜晶禕，畢業於上海交通大學，現為友邦保險集團人工智能主管。曾就職於通用電氣（中國）研究開發中心有限公司，任資深數據科學家；曾任飛利浦亞洲研究院高級研究員。
施智平博士，首都師範大學信息工程學院教授，院長，畢業於中科院計算技術研究所。於2012年和2017年獲北京市科學技術獎二等獎兩次，中國計算機學會高級會員，形式化方法專委會委員，人工智能學會會員，智能服務專委會委員，IEEE/ACM 會員。
