基於Theano的深度學習:構建未來與當前的人工大腦
內容描述
本書主要介紹了深度學習的基本概念和常用網絡以及Theano在深度學習中的應用。全書共13章,首先介紹了Theano的基礎知識,包括張量、計算圖、符號計算、張量算子、自動微分等概念,然後分別介紹了基於前饋神經網絡的手寫體數字分類、單詞的向量編碼、基於遞歸神經網絡的文本生成、基於雙向LSTM的情感分析、基於空間變換網絡的定位、基於剩餘網絡的圖像分類、基於編碼—解碼網絡的翻譯與解釋、基於註意力機制的相關輸入或記憶選擇、基於先進遞歸神經網絡的時間序列預測、強化環境學習和基於非監督式網絡的特徵學習等內容,後介紹了Theano在深度學習中的擴展可能性。
目錄大綱
譯者序
原書前言
本書作者
原書致謝
第1章Theano基礎//1
1.1張量所需//1
1.2安裝和加載Theano //2
1.2.1 Conda軟件包和環境管理器// 2
1.2 .2在CPU上安裝和運行Theano // 2
1.2.3 GPU驅動和相關庫// 3
1.2.4在GPU上安裝和運行Theano // 4
1.3張量//5
1.4計算圖和符號計算// 8
1.5張量操作//11
1.5.1維度操作算子// 13
1.5.2元素操作算子// 14
1.5.3約簡操作算子// 16
1.5.4線性代數算子// 16
1.6內存和變量//18
1.7函數和自動微分//20
1.8符號計算中的循環運算//22
1.9配置、分析和調試//26
1.10小結//29
第2章基於前饋神經網絡的手寫體數
字分類//30
2.1 MNIST數據集// 30
2.2訓練程序架構// 32
2.3分類損失函數// 33
2.4單層線性模型// 34
2.5成本函數和誤差// 35
2.6反向傳播算法和隨機梯度下降// 36
2.7多層模型// 37
2.8卷積層和最大池化層// 43
2.9訓練/ / 47
2.10退出// 52
2.11推理// 52
2.12優化和其他更新規則// 52
2.13延伸閱讀// 56
2.14小結// 57
第3章單詞的向量編碼//58
3.1編碼和嵌入// 58
3.2數據集// 60
3.3連續詞袋模型// 62
3.4模型訓練// 66
3.5可視化學習嵌入// 68
3.6嵌入評價—類比推理// 70
3.7嵌入評價—量化分析// 72
3.8單詞嵌入應用// 72
3.9權重綁定// 73
基於Theano的深度學習:
構建未來與當前的人工大腦
XIV
3.10延伸閱讀// 73
3.11小結// 74
第4章基於遞歸神經網絡的文本
生成//75
4.1 RNN所需// 75
4.2自然語言數據集// 76
4.3簡單遞歸網絡// 79
4.3.1 LSTM網絡// 81
4.3.2門控遞歸網絡// 83
4.4自然語言性能評測// 84
4.5訓練損失比較// 84
4.6預測示例// 86
4.7 RNN的應用// 87
4.8延伸閱讀// 88
4.9小結// 89
第5章基於雙向LSTM的情感
分析// 90
5.1 Keras的安裝和配置// 90
5.1.1 Keras編程// 91
5.1.2 SemEval 2013數據集// 93
5.2文本數據預處理// 94
5.3模型架構設計// 96
5.3.1單詞的向量表徵// 96
5.3.2基於雙向LSTM的語句表徵// 97
5.3. 3 softmax分類器的輸出概率// 98
5.4模型編譯與訓練// 99
5.5模型評估// 99
5.6模型保存與加載// 100
5.7示例運行// 100
5.8延伸閱讀// 100
5.9小結// 101
第6章基於空間變換網絡的
定位// 102
6.1基於Lasagne的MNIST CNN模型
// 102
6.2定位網絡// 104
6.2.1 RNN在圖像中的應用// 108
6.3基於共定位的非監督式學習// 112
6.4基於區域的定位網絡// 112
6.5延伸閱讀// 113
6.6小結// 114
第7章基於殘差網絡的圖像
分類// 115
7.1自然圖像數據集// 115
7.1.1批處理標準化// 116
7.1.2全局平均池化// 117
7.2殘差連接// 118
7.3隨機深度// 123
7.4密集連接// 124
7.5多GPU // 125
7.6數據增強// 126
7.7延伸閱讀// 127
7.8小結// 127
第8章基於編碼—解碼網絡的翻譯
與解釋// 128
8.1序列—序列網絡在自然語言處理
中的應用// 128
8.2序列—序列網絡在語言翻譯中的
應用// 133
8.3序列—序列網絡在聊天機器人中的
應用// 134
8.4序列—序列網絡的效率提高// 134
8.5圖像反捲積// 136
目錄
XV
8.6多模態深度學習// 140
8.7延伸閱讀// 140
8.8小結// 142
第9章基於注意力機制的相關輸入
或記憶選擇// 143
9.1注意力可微機制// 143
9.1.1基於注意力機制的最佳
翻譯// 144
9.1.2基於注意力機制的最佳圖像
註釋// 145
9.2神經圖靈機中的信息存儲和
檢索// 146
9.3記憶網絡// 148
9.3.1基於動態記憶網絡的情景
記憶// 149
9.4延伸閱讀// 150
9.5小結// 151
第10章基於先進遞歸神經網絡的時
間序列預測// 152
10.1 RNN的退出// 152
10.2 RNN的深度學習方法// 153
10.3層疊遞歸網絡// 154
10.4深度轉移遞歸網絡// 157
10.5高速網絡設計原理// 157
10.6遞歸高速網絡// 158
10.7延伸閱讀// 159
10.8小結// 159
第11章強化環境學習// 160
11.1強化學習任務// 160
11.2仿真環境// 161
11.3 Q學習// 164
11.4深度Q學習網絡// 166
11.5訓練穩定性// 167
11.6基於REINFORCE算法的策略
梯度// 169
11.7延伸閱讀// 171
11.8小結// 172
第12章基於非監督式網絡的特徵
學習// 173
12.1生成模型// 173
12.1.1受限玻耳茲曼機// 173
12.1.2深度信念網絡// 177
12.1.3生成性對抗網絡// 178
12.1.4改進GAN // 182
12.2半監督式學習// 182
12.3延伸閱讀// 183
12.4小結// 184
第13章基於Theano的深度學習
擴展// 185
13.1 CPU中Python實現的Theano
操作// 185
13.2 GPU 中Python
作者介紹
Christopher Bourez於2005年畢業於巴黎綜合理工大學和卡尚高等師範學院,獲得數學、機器學習和計算機視覺(MVA)的碩士學位。
7年來,他創立了一家計算機視覺公司,在2007年推出了一種用於iPhone的視覺識別應用程序Pixee,與巴黎市的各大影院品牌和一些主要票務經銷商協作:通過一張照片,用戶可以獲取有關活動、產品和購票方式等信息。
在應用Caffe、TensorFlow或Torch來完成計算機視覺任務的過程中,通過計算機科學的博客,幫助其他開發人員成功實現。其中一篇博客文章—“A tutorial on the Caffe deep learning technology”(基於Caffe的深度學習技術教程),已成為繼Caffe官方網站之後在網絡上受歡迎的教程。
在Packt出版社的積極倡導下,將其撰寫Caffe教程的成功經驗移植到關於Theano技術的本書上。與此同時,還深入研究了有關深度學習的廣泛問題,並在Theano及其應用方面積累了更多的實踐經驗。