深度學習
內容描述
本書初定五個章節,第一章淺層模型部分介紹線性回歸、Logistics 回歸、Softmax 回歸、廣義線性回歸模型以及機器學習基本概念。第二章介紹深度學習模型以及相應的正則化技術。第三章介紹捲積的物理意義、捲積神經網絡及其各種改進。第四章介紹反饋神經網絡及其改進的長短期記憶單元。第五章介紹深度強化學習,展示深度捲積網絡如何與強化學習技術融合用以人機圍棋博弈以及自動駕駛領域。
目錄大綱
目錄
第 1章淺層模型 ............................................................... 1
1.1深度學習史前發展史 ........................................................ 1
1.1.1數據分析的初級階段:手工演算階段 ........................................ 1
1.1.2數據分析的中級階段:淺層模型階段 ......................................... 3
1.1.3數據分析的高級階段:大數據深度學習階段 .................................. 4
1.2線性回歸模型 .............................................................. 7
1.2.1極小二乘線性回歸 ........................................................ 8
1.2.2模型選擇:模型容量與過擬合和欠擬合問題 ................................ 19
1.2.3屬性空間、假設函數空間與基於核函數的特徵映射 ...................... 22
1.2.4特徵選擇 ............................................................... 26
1.2.5回歸分析的概率解釋 ..................................................... 32
1.3 Logistics二分類模型 ..................................................... 33
1.4 Softmax多分類模型 ....................................................... 37
1.5 廣義線性模型 ............................................................ 42
參考文獻 .................................................................... 52
第 2章深度神經網絡 .......................................................... 56
2.1引言 ..................................................................... 56
2.2 BP神經網絡 .............................................................. 58
2.2.1從生物神經元到 MP神經元模型 .......................................... 58
2.2.2 BP神經網絡結構 ........................................................ 59
2.2.3 BP算法 ................................................................ 64
2.2.4 BP算法算例 ............................................................ 72
2.3從 BP網絡到深度網絡 ...................................................... 73
2.3.1梯度消失:多層 BP網絡訓練難題 ........................................... 74
2.3.2逐層貪心預訓練 +全局微調 ............................................. 76
2.4深度網絡的進一步解釋 ..................................................... 83
2.5剋服過擬合:深度網絡中的正則化技術 ........................................ 85
2.5.1模型約束技術 ........................................................... 86
2.5.2輸入約束技術 ........................................................... 88
2.5.3模型集成技術 ........................................................... 92
2.6深度網絡發展史 ........................................................... 98
2.6.1早期神經網絡模型( 1958—1969年) ....................................... 98
2.6.2深度學習萌芽期( 1969—2006年) .......................................... 99
2.6.3深度學習爆發期(2006年至今) ............................................100
參考文獻 ....................................................................101
第 3章捲積神經網絡 .........................................................108
3.1引言 ....................................................................108
3.2捲積的數學公式及其含義 .................................................109
3.3捲積神經網絡的技術細節 .................................................114
3.3.1電腦“眼”中的圖像 ...............................................115
3.3.2捲積神經網絡 ..........................................................116
3.3.3捲積神經網絡的結構 .................................................116
3.3.4 CNNs訓練算法 ..........................................................121
3.3.5捲積網提取特徵的可視化 .............................................129
3.4 CNNs的變體 ..............................................................131
3.4.1關於捲積核的變體 .....................................................132
3.4.2關於捲積通道的變體 ..................................................136
3.4.3關於捲積層連接的變體 .................................................141
3.5捲積網絡在自動駕駛中的應用 .............................................145
3.6 捲積網絡發展史 .........................................................146
參考文獻 ................................................................148
第 4章反饋神經網絡 ........................................................151
4.1引言 ....................................................................151
4.2反饋神經網絡 ............................................................153
4.2.1統計語言模型 .......................................................154
4.2.2 RNNs的網絡結構 ........................................................158
4.2.3 RNNs的訓練算法:BPTT ...............................................162
4.2.4 RNNs的誤差沿時間軸傳播公式 .........................................170
4.2.5 RNNs的變體 ..........................................................172
4.3長短期記憶單元反饋神經網絡 ............................................175
4.3.1早期解決長時間序列學習難題的樸素方法 .................................176
4.3.2 LSTM網絡結構 .........................................................177
4.3.3 LSTM的前向計算 ....................................................179
4.3.4 LSTM的反向計算 .....................................................181
4.3.5 LSTM的權值更新 .....................................................184
4.3.6理解 LSTM網絡 ........................................................186
4.4時間序列處理中的幾種重要機制 ..........................................188
4.4.1處理變長序列的編碼器-解碼器模型 ..................................189
4.4.2註意力機制 ............................................................192
4.4.3序列自動對齊的 CTC技術 .............................................195
4.4.4小結 .............................................................215
4.5深度反饋網絡在時間序列處理中的應用 ....................................216
4.5.1 Google神經機器翻譯系統 ...............................................216
4.5.2深度語音識別系統 ..................................................219
4.5.3用 LSTM編程和寫作 ..................................................223
4.6 反饋神經網絡發展現狀 ....................................................229
參考文獻 ...................................................................229
第 5章深度強化學習 .........................................................234
5.1引言 ....................................................................234
5.2馬爾可夫決策過程 .....................................................238
5.2.1馬爾可夫過程 .......................................................239
5.2.2馬爾可夫獎勵過程 .....................................................243
5.2.3馬爾可夫決策過程 .....................................................246
5.2.4廣義策略迭代 ..........................................................255
5.2.5小結 .................................................................257
5.3強化學習算法 ............................................................257
5.3.1動態規劃算法 ........................................................258
5.3.2蒙特卡羅算法 ..........................................................263
5.3.3時間差分學習算法 ......................................................274
5.3.4小結 ..................................................................297
5.4深度強化學習算法 ........................................................299
5.4.1基於深度網絡的狀態價值和動作價值函數近似 ...........................301
5.4.2基於深度網絡的策略梯度法 ..........................................307
5.5深度強化學習的應用 .....................................................317
5.5.1圍棋 AlphaGo ........................................................317
5.5.2從 AlphaGo到 AlphaGo Zero............................................332
5.5.3基於像素的乒乓球游戲 .................................................341
5.6深度強化學習發展現狀 ................................................344
5.6.1強化學習起源與發展現狀 ................................................344
5.6.2深度強化學習在棋類中的應用 ............................................345
5.6.3深度強化學習技術在自主智能體中的應用 .................................347
參考文獻 ..................................................................350
後記 ........................................................................353