深度學習核心技術與實踐
內容描述
本書主要介紹深度學習的核心算法,以及在電腦視覺、語音識別、自然語言處理中的相關應用。本書的作者們都是業界第一線的深度學習從業者,所以書中所寫內容和業界聯系緊密,所涵蓋的深度學習相關知識點比較全面。本書主要講解原理,較少貼代碼。本書適合深度學習從業人士或者相關研究生作為參考資料,也可以作為入門教程來大致瞭解深度學習的相關前沿技術。
目錄大綱
第1部分深度學習基礎篇1
1概述2
1.1人工智能. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1人工智能的分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.2人工智能發展史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2機器學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1機器學習的由來. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2機器學習發展史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.3機器學習方法分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 .4機器學習中的基本概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3神經網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1神經網絡發展史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2神經網絡17
2.1在神經科學中對生物神經元的研究. . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1神經元激活機制. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2神經元的特點. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2神經元模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1線性神經元. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.2線性閾值神經元. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.3 Sigmoid神經元. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.4 Tanh神經元. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.5 ReLU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.6 Maxout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.7 Softmax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.8小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3感知機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.1感知機的提出. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.2感知機的困境. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4 DNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.1輸入層、輸出層及隱層. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.2目標函數的選取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.3前向傳播. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.4後向傳播. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.5參數更新. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.6神經網絡的訓練步驟. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3初始化模型38
3.1受限玻爾茲曼機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1.1能量模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.2帶隱藏單元的能量模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.1.3受限玻爾茲曼機基本原理. . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.4二值RBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.1.5對比散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2自動編碼器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.1稀疏自動編碼器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.2降噪自動編碼器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.3棧式自動編碼器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3深度信念網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4卷積神經網絡53
4.1卷積算子. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2卷積的特徵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
作者介紹
猿輔導應用研究團隊成立於2014年年中,一直從事深度學習在教育領域的應用和研究工作。團隊成員均畢業於北京大學、清華大學、上海交大、中科院、香港大學等知名高校,大多數擁有碩士或博士學位。研究方向涵蓋了圖像識別、語音識別、自然語言理解、數據挖掘、深度學習等領域。團隊成功運用深度學習技術,從零開始打造出活躍用戶過億的拍照搜題APP——小猿搜題,開源了分佈式機器學習系統ytk-learn和分佈式通信系統ytk-mp4j。此外,團隊自主研發的一系列成果均成功應用到猿輔導公司的產品中。包括:速算應用中的在線手寫識別、古詩詞背誦中的語音識別、英語口語智能批改、英文手寫拍照識別和英語作文智能批改等技術。