大數據與人工智能導論 第二版
內容描述
本書主要涉及數據工程與人工智能算法原理、大數據平臺技術、
人工智能算法在大數據平臺上的實現等，共7章。
第1章介紹大數據與人工智能的歷史、應用；
第2章介紹數據工程；
第3章介紹大數據平臺；
第4章介紹人工智能基礎算法的原理；
第5章以第4章為基礎，介紹深度學習相關內容；
第6章介紹當前熱門的強化學習技術；
第7章為數據分析與深度學習項目實踐。
本書可作為希望快速瞭解和入門大數據與人工智能領域知識的本科生、
研究生的參考書，也可供互聯網領域中對人工智能算法感興趣的工程技術人員參考使用。
目錄大綱
目 錄
第 1章 緒論 1
1.1 日益增長的數據 1
1.1.1 大數據基本概念 1
1.1.2 大數據發展歷程 2
1.1.3 大數據的特徵 3
1.1.4 大數據的基本認識 3
1.2 人工智能 4
1.2.1 認識人工智能 4
1.2.2 人工智能的派別與發展史 4
1.2.3 人工智能的現狀與應用 5
1.2.4 當人工智能遇上大數據 7
1.3 大數據與人工智能的機遇與挑戰 7
1.3.1 大數據與人工智能面臨的難題 7
1.3.2 大數據與人工智能的前景 8
第 2章 數據工程 10
2.1 數據的多樣性 10
2.1.1 數據格式的多樣性 10
2.1.2 數據來源的多樣性 11
2.1.3 數據用途的多樣性 11
2.2 數據工程的一般流程 12
2.3 數據的獲取 13
2.3.1 數據來源 14
2.3.2 數據採集方法 14
2.3.3 大數據採集平臺 15
2.4 數據的存儲與數據倉庫 16
2.4.1 數據存儲 16
2.4.2 數據倉庫 16
2.5 數據的預處理技術 17
2.5.1 數據預處理的目的 17
2.5.2 數據清理 18
2.5.3 數據集成 19
2.5.4 數據變換 19
2.5.5 數據歸約 19
2.6 模型的構建與評估 20
2.6.1 模型的構建 20
2.6.2 評價指標 20
2.7 數據的可視化 22
2.7.1 可視化的發展 22
2.7.2 可視化工具 23
第3章 大數據框架 28
3.1 Hadoop簡介 28
3.1.1 Hadoop的由來 28
3.1.2 MapReduce和HDFS 28
3.2 Hadoop大數據處理框架 30
3.2.1 HDFS組件與運行機制 30
3.2.2 MapReduce組件與運行機制 33
3.2.3 YARN框架和運行機制 34
3.2.4 Hadoop相關技術 35
3.2.5 Hadoop的安裝 36
3.3 MapReduce編程 39
3.3.1 MapReduce綜述 39
3.3.2 Map階段 40
3.3.3 Shuffle階段 40
3.3.4 Reduce階段 41
3.4 Spark簡介 41
3.4.1 Spark概述 41
3.4.2 Spark基本概念 42
3.4.3 Spark生態系統 42
3.4.4 Spark組件與運行機制 44
3.4.5 Spark的安裝 44
3.5 Storm簡介 47
3.5.1 Storm概述 47
3.5.2 Storm組件和運行機制 48
3.5.3 Storm的應用 50
3.5.4 Storm的安裝 50
3.6 Flink簡介 53
3.6.1 Flink概述 53
3.6.2 Flink組件和運行機制 54
3.6.3 Flink的應用 55
3.6.4 Flink的安裝和實例講解 56
第4章 機器學習算法 58
4.1 機器學習緒論 58
4.1.1 機器學習基本概念 58
4.1.2 評價標準 59
4.1.3 機器模型的數學基礎 61
4.2 決策樹理論 64
4.2.1 決策樹模型 65
4.2.2 決策樹的訓練 67
4.2.3 本節小結 72
4.3 樸素貝葉斯理論 72
4.4 線性回歸 75
4.5 邏輯斯蒂回歸 77
4.5.1 二分類邏輯回歸模型 77
4.5.2 二分類邏輯斯蒂回歸的訓練 79
4.5.3 Softmax分類器 81
4.5.4 邏輯斯蒂回歸和softmax的應用 81
4.5.5 本節小結 82
4.6 支持向量機 82
4.6.1 間隔 83
4.6.2 支持向量機的原始形式 84
4.6.3 支持向量機的對偶形式 85
4.6.4 特徵空間的隱式映射：核函數 87
4.6.5 支持向量機拓展 88
4.6.6 支持向量機的應用 89
4.7 集成學習 89
4.7.1 基礎概念 89
4.7.2 Boosting 91
4.7.3 Bagging 94
4.7.4 Stacking 95
4.8 神經網絡 95
4.8.1 生物神經元和人工神經元 95
4.8.2 感知機 97
4.8.3 BP神經網絡 98
4.8.4 Sklearn中的神經網絡 100
4.8.5 本節小結 101
4.9 聚類 101
4.9.1 聚類思想 101
4.9.2 性能計算和距離計算 101
4.9.3 原型聚類 102
4.9.4 密度聚類 103
4.9.5 層次聚類 104
4.9.6 Sklearn中的聚類 105
4.9.7 本節小結 105
4.10 降維與特徵選擇 105
4.10.1 維數爆炸與降維 105
4.10.2 降維技術 106
4.10.3 特徵選擇技術 108
4.10.4 Sklearn中的降維 108
4.10.5 本節小結 108
第5章 深度學習簡介 110
5.1 從神經網絡到深度神經網絡 110
5.1.1 深度學習應用 110
5.1.2 深度神經網絡的困難 111
5.2 捲積神經網絡 112
5.2.1 捲積神經網絡的生物學基礎 112
5.2.2 捲積神經網絡結構 113
5.3 循環神經網絡 116
5.3.1 循環神經網絡簡介 116
5.3.2 循環神經網絡結構 116
5.4 生成對抗網絡 118
5.4.1 生成對抗網絡簡介 118
5.4.2 生成對抗網絡結構 119
第6章 強化學習簡介 124
6.1 有限馬爾可夫決策過程 125
6.1.1 目標和獎勵 125
6.1.2 回報和分幕 126
6.1.3 策略和值函數 127
6.1.4 最優策略和最優狀態值函數 127
6.2 動態規劃 129
6.2.1 策略評估 129
6.2.2 策略改進 132
6.2.3 策略迭代 133
6.2.4 價值迭代 134
6.3 時序差分學習 135
6.3.1 時序差分預測 136
6.3.2 TD(0)學習 136
6.3.3 Sarsa算法 137
6.3.4 Q學習算法 138
6.4 策略梯度方法 139
6.4.1 策略梯度定理 140
6.4.2 蒙特卡羅策略梯度 141
6.4.3 “Actor-Critic”方法 142
6.5 深度強化學習 143
6.5.1 深度Q-learning 143
6.5.2 深度確定性策略梯度 146
第7章 數據分析實例 149
7.1 基本數據分析 149
7.1.1 數據介紹 149
7.1.2 數據導入與數據初識 149
7.1.3 分類 152
7.1.4 回歸 153
7.1.5 降維 154
7.2 深度學習項目實戰 155
7.2.1 Tensorflow與Keras安裝部署 155
7.2.2 使用捲積神經網絡進行手寫數字識別 156
7.2.3 使用LSTM進行文本情感分類 158
參考文獻 162
附錄A 矩陣基礎 163
附錄B 梯度下降 166
附錄C 拉格朗日對偶性 169
附錄D Python語法知識 172
附錄E Java語法基礎介紹 184
作者介紹
姚海鵬
北京郵電大學副教授，
主要研究方向為未來網絡體系架構、網絡大數據、物聯網等。
劉韻潔
中國工程院院士，現任中國聯通科技委主任，
兼任國家信息化專家諮詢委員會委員、國務院三網融合專家組成員、
中國通信學會常務理事、中國互聯網協會常務理事，
國家未來網絡試驗設施重大科技基礎設施項目負責人，
面向服務的未來互聯網體系結構及機制研究973項目首席科學家，
獲得“2014中國互聯網年度人物”特別貢獻獎。
