深入淺出深度學習:原理剖析與Python實踐
內容描述
《深入淺出深度學習：原理剖析與Python實踐》內容提要
《深入淺出深度學習：原理剖析與Python實踐》介紹了深度學習相關的原理與應用，全書共分為三大部分，第一部分主要回顧了深度學習的發展歷史，以及Theano的使用；第二部分詳細講解了與深度學習相關的基礎知識，包括線性代數、概率論、概率圖模型、機器學習和最優化算法；在第三部分中，針對若乾核心的深度學習模型，如自編碼器、受限玻爾茲曼機、遞歸神經網絡和捲積神經網絡等進行詳細的原理分析與講解，並針對不同的模型給出相應的具體應用。
《深入淺出深度學習：原理剖析與Python實踐》適合有一定高等數學、機器學習和Python編程基礎的在校學生、高校研究者或在企業中從事深度學習的工程師使用，書中對模型的原理與難點進行了深入分析，在每一章的最後都提供了詳細的參考文獻，讀者可以對相關的細節進行更深入的研究。最後，理論與實踐相結合，《深入淺出深度學習：原理剖析與Python實踐》針對常用的模型分別給出了相應的應用，讀者也可以在Github中下載和查看《深入淺出深度學習：原理剖析與Python實踐》的代碼（https://github.com/innovation-cat/DeepLearningBook）。
目錄大綱
第1部分概要1
1緒論2
1.1人工智能、機器學習與深度學習的關係3
1.1.1人工智能——機器推理4
1.1.2機器學習——數據驅動的科學5
1.1.3深度學習——大腦的仿真8
1.2深度學習的發展歷程8
1.3深度學習技術概述10
1.3.1從低層到高層的特徵抽象11
1.3.2讓網絡變得更深13
1.3.3自動特徵提取14
1.4深度學習框架15
2 Theano基礎19
2.1符號變量20
2.2符號計算的抽象——符號計算圖模型23
2.3函數26
2.3.1函數的定義26
2.3.2 Logistic回歸27
2.3.3函數的複制29
2.4條件表達式31
2.5循環32
2.6共享變量39
2.7配置39
2.7.1通過THEANO_FLAGS配置40
2.7.2通過. theanorc文件配置41
2.8常用的Debug技巧42
2.9小結43
第2部分數學與機器學習基礎篇45
3線性代數基礎46
3.1標量、向量、矩陣和張量46
3.2矩陣初等變換47
3.3線性相關與向量空間48
3.4範數49
3.4.1向量範數49
3.4.2矩陣範數53
3.5特殊的矩陣與向 56
3.6特徵值分解57
3.7奇異值分解58
3.8跡運算60
3.9樣例：主成分分析61
4概率統計基礎64
4.1樣本空間與隨機變量65
4.2概率分佈與分佈函數65
4.3一維隨機變量66
4.3. 1離散型隨機變量和分佈律66
4.3.2連續型隨機變量和概率密度函數67
4.4多維隨機變量68
4.4.1離散型二維隨機變量和聯合分佈律69
4.4.2連續型二維隨機變量和聯合密度函數69
4.5邊緣分佈70
4.6條件分佈與鍊式法則71
4.6.1條件概率71
4.6.2鍊式法則73
4.7多維隨機變量的獨立性分析73
4.7.1邊緣獨立74
4.7.2條件獨立74
4.8數學期望、方差、協方差75
4.8.1數學期望75
4.8.2方差76
4.8.3協方差76
4.8.4協方差矩陣78
4.9信息論基礎81
4.9.1信息熵81
4.9.2條件熵83
4.9 .3互信息84
4.9.4相對熵與交叉熵84
5概率圖模型87
5.1生成模型與判別模型89
5.2圖論基礎90
5.2.1圖的結構90
5.2.2子圖91
5.2.3路徑、跡、環與拓撲排序92
5.3 葉斯網絡95
5.3.1因子分解96
5.3.2局部馬爾科夫獨立性斷言99
5.3.3 I-Map與因子分解100
5.3.4有效跡103
5.3.5 D-分離與全局馬爾科夫獨立性108
5.4馬爾科夫網絡108
5.4.1勢函數因子與參數化表示109
5.4.2馬爾科夫獨立性111
5.5變量消除114
5.6信念傳播116
5.6.1聚類圖116
5.6.2團樹120
5.6. 3由變量消除構建團樹123
5.7 MCMC採樣原理126
5.7.1隨機採樣127
5.7.2隨機過程與馬爾科夫鏈128
5.7.3 MCMC採樣132
5.7.4 Gibbs採樣134
5.8參數學習137
5.8.1 . ..似然估計137
5.8.2期望...化算法138
5.9小結140
6機器學習基礎142
6.1線性模型143
6.1.1線性回歸143
6.1.2 Logistic回歸148
6.1.3廣義的線性模型150
6.2支持向量機151
6.2.1最優間隔分類器152
6.2.2對偶問題155
6.2.3核函數156
6.3樸素貝葉斯160
6.4樹模型162
6.4.1特徵選擇163
6.4.2剪枝策略165
6.5聚類166
6.5.1距離度量167
6.5.2層次聚類168
6.5.3 K-means聚類171
6.5.4譜聚類1 72
7數值計算與最優化177
7.1無約束極小值的最優化條件177
7.2梯度下降179
7.2.1傳統更新策略181
7.2.2動量更新策略183
7.2.3改進的動量更新策略184
7.2.4自適應梯度策略187
7.3共軛梯度188
7.4牛頓法192
7.5擬牛頓法194
7.5.1擬牛頓條件194
7.5.2 DFP算法195
7.5.3 BFGS算法196
7.5.4 L-BFGS算法197
7.6約束最優化條件200
第3部分理論與應用篇205
8前饋神經網絡206
8.1生物神經元結構207
8.2人工神經元結構208
8.3單層感知機209
8.4多層感知機212
8.5激活函數217
8.5.1激活函數的作用217
8.5.2常用的激活函數219
9反向傳播與梯度消失225
9.1經驗風險最小化227
9.2梯度計算228
9.2.1輸出層梯度228
9.2.2隱藏層梯度230
9.2.3參數梯度234
9.3反向傳播235
9.4深度學習訓練的難點237
9.4.1欠擬合——梯度消失237
9.4.2過擬合240
10自編碼器及其相關模型243
10.1自編碼器243
10.2降噪自編碼器245
10.3棧式自 碼器247
10.4稀疏編碼器250
10.5應用：cifar10圖像分類254
11玻爾茲曼機及其相關模型258
11.1玻爾茲曼機258
11.2能量模型261
11.2.1能量函數261
11.2.2從能量函數到勢函數262
11.2.3從勢函數到概率分佈263
11.3推斷264
11.3.1邊緣分佈265
11.3.2條件分佈267
11.4學習270
11.4.1 ...似然估計271
11.4.2對比散度274
11.5應用：個性化推薦276
11.5.1個性化推薦概述276
11.5.2個性化推薦架構與算法279
11.5.3 RBM與協同過濾285
12遞歸神經網絡291
12.1 Elman遞歸神經網絡292
12.2時間反向傳播295
12.3長短時記憶網絡299
12.4結構遞歸神經網絡302
12.5應用：語言模型308
12.5.1 N元統計模型308
12.5.2基於LSTM構建語言模型312
13卷積神經網絡318
13.1卷積運算319
13.2網絡結構320
13.3卷積層324
13.4池化層329
13.5應用：文本分類333
作者介紹
黃安埠，2012年畢業於清華大學，獲碩士學位，在校期間活躍於TopCoder等編程競賽社區。現為騰訊基礎研究高級工程師，研究領域包括個性化推薦、自然語言處理和大規模的相似度優化計算，特別是對於深度學習在推薦系統的應用有深入的研究，併申請了國內十餘項相關專利。
