深入淺出神經網絡與深度學習
內容描述
本書深入講解神經網絡和深度學習技術，側重於闡釋深度學習的核心概念。作者以技術原理為導向，輔以貫穿全書的MNIST手寫數字識別項目示例，介紹神經網絡架構、反向傳播算法、過擬合解決方案、捲積神經網絡等內容，以及如何利用這些知識改進深度學習項目。學完本書後，讀者將能夠通過編寫Python代碼來解決復雜的模式識別問題。
目錄大綱
第1章 使用神經網絡識別手寫數字 1
1.1 感知機 2
1.2 sigmoid神經元 7
1.3 神經網絡的架構 11
1.4 一個簡單的神經網絡：分類手寫數字 13
1.5 利用梯度下降算法進行學習 17
1.6 實現分類數字的神經網絡 25
1.7 邁向深度學習 37
第2章 反向傳播算法工作原理 41
2.1 熱身：使用矩陣快速計算輸出 41
2.2 關於代價函數的兩個假設 43
2.3 阿達馬積s⊙t 45
2.4 反向傳播的4個基本方程 45
2.5 基本方程的證明（選學） 50
2.6 反向傳播算法 51
2.7 反向傳播代碼 53
2.8 就何而言，反向傳播算快 55
2.9 反向傳播：全局觀 56
第3章 改進神經網絡的學習方法 60
3.1 交叉熵代價函數 60
3.1.1 引入交叉熵代價函數 64
3.1.2 使用交叉熵來對MNIST數字進行分類 71
3.1.3 交叉熵的含義與起源 72
3.1.4 softmax 74
3.2 過擬合和正則化 78
3.2.1 正則化 84
3.2.2 為何正則化有助於減輕過擬合 89
3.2.3 其他正則化技術 93
3.3 權重初始化 102
3.4 復探手寫識別問題：代碼 106
3.5 如何選擇神經網絡的超參數 116
3.6 其他技術 126
3.6.1 隨機梯度下降算法的變化形式 126
3.6.2 其他人工神經元模型 129
3.6.3 有關神經網絡的故事 132
第4章 神經網絡可以計算任何函數的可視化證明 134
4.1 兩個預先聲明 136
4.2 一個輸入和一個輸出的普遍性 137
4.3 多個輸入變量 146
4.4 不止sigmoid神經元 154
4.5 修補階躍函數 156
4.6 小結 159
第5章 為何深度神經網絡很難訓練 160
5.1 梯度消失問題 163
5.2 梯度消失的原因 168
5.2.1 為何出現梯度消失 170
5.2.2 梯度爆炸問題 171
5.2.3 梯度不穩定問題 172
5.2.4 梯度消失問題普遍存在 172
5.3 復雜神經網絡中的梯度不穩定 173
5.4 深度學習的其他障礙 174
第6章 深度學習 175
6.1 捲積神經網絡入門 176
6.1.1 局部感受野 178
6.1.2 共享權重和偏置 180
6.1.3 池化層 182
6.2 捲積神經網絡的實際應用 184
6.2.1 使用修正線性單元 188
6.2.2 擴展訓練數據 189
6.2.3 插入額外的全連接層 191
6.2.4 集成神經網絡 192
6.3 捲積神經網絡的代碼 195
6.4 圖像識別領域近期的進展 208
6.4.1 2012年的LRMD論文 208
6.4.2 2012年的KSH論文 209
6.4.3 2014年的ILSVRC競賽 211
6.4.4 其他活動 212
6.5 其他深度學習模型 214
6.5.1 循環神經網絡 214
6.5.2 長短期記憶單元 216
6.5.3 深度信念網絡、生成模型和玻爾茲曼機 216
6.5.4 其他想法 217
6.6 神經網絡的未來 217
6.6.1 意圖驅動的用戶界面 217
6.6.2 機器學習、數據科學和創新的循環 218
6.6.3 神經網絡和深度學習的作用 218
6.6.4 神經網絡和深度學習將主導人工智能 219
附錄 是否存在關於智能的簡單算法 222
版權聲明
作者介紹
【作者簡介】邁克爾·尼爾森（Michael Nielsen）
計算機科學家、量子物理學家、科普作家，Y Combinator Research的研究Fellow，曾受邀在哈佛大學、斯坦福大學、麻省理工學院、劍橋大學、牛津大學等高校以及谷歌和微軟等公司做主題演講，另著有高分作品《重塑发現》和《量子計算和量子信息》。
【譯者簡介】朱小虎
University AI創始人兼首席科學家、Center for Safe AGI創始人、谷歌開发者機器學習專家、百度深度學習布道者。和團隊核心成員一起創建了TASA、DL Center（深度學習知識中心全球價值網絡）和AI Growth（行業智庫培訓）等。舉辦過多場國際性人工智能峰會和活動。在多個技術平台寫下了近百萬字的人工智能精品技術內容。曾受邀為多所國內高校制定人工智能學習規劃和教授人工智能前沿課程，也曾為多家世界500強企業提供人工智能方面的戰略布局建議及落地實施等方面的咨詢建議。
