圖深度學習
內容描述
本書全面介紹了圖深度學習的理論基礎、模型方法及實際應用。全書分為4 篇,共15 章。第1 篇為基礎理論,重點介紹圖和深度學習的基礎知識,包括圖的關鍵概念和屬性、各種基礎的神經網絡模型、訓練深度學習模型的關鍵方法以及防止訓練過程中過度擬合的實用技術;第2 篇為模型方法,涵蓋了從基本設置到高級設置的成熟的圖深度學習方法,包括圖嵌入、圖過濾和池化操作、圖對抗攻擊和圖對抗防禦技術、可擴展性圖神經網絡的代表性技術以及圖神經網絡之外的眾多圖深度模型;第3 篇為實際應用,重點介紹了最具代表性的實際應用,包括自然語言處理、電腦視覺、數據挖掘、生物化學與醫療健康等;第4 篇為前沿進展,介紹了有可能成為將來研究熱點的高級方法和應用,主要從表達性、深度、公平性、可解釋性和自監督學習等內容。在組織結構方面,每章首先介紹寫作動機,然後通過具體示例或技術細節介紹相應內容,最後提供更多的擴展閱讀知識。本書既適合對數據挖掘、機器學習和社交網絡分析感興趣的本科生和研究生閱讀,也適合企業開發者和項目經理閱讀。對於沒有電腦科學背景,但想要應用圖神經網絡來推進其所在學科發展的研究人員,本書同樣是一本值得參考的讀物。
目錄大綱
目錄
第1 章緒論1
1.1 簡介2
1.2 圖深度學習的動機2
1.3 本書內容4
1.4 本書讀者定位6
1.5 圖特徵學習的簡要發展史7
1.5.1 圖特徵選擇8
1.5.2 圖表示學習9
1.6 小結10
1.7 擴展閱讀11
第1 篇基礎理論
第2 章圖論基礎15
2.1 簡介16
2.2 圖的表示16
2.3 圖的性質17
2.3.1 度17
2.3.2 連通度19
2.3.3 中心性21
2.4 譜圖論24
2.4.1 拉普拉斯矩陣24
2.4.2 拉普拉斯矩陣的特徵值和特徵向量26
2.5 圖信號處理27
2.6 複雜圖30
2.6.1 異質圖30
2.6.2 二分圖30
2.6.3 多維圖31
2.6.4 符號圖32
2.6.5 超圖33
2.6.6 動態圖33
2.7 圖的計算任務34
2.7.1 側重於節點的任務35
2.7.2 側重於圖的任務36
2.8 小結37
2.9 擴展閱讀37
第3 章深度學習基礎39
3.1 簡介40
3.2 深度前饋神經網絡41
3.2.1 網絡結構42
3.2.2 激活函數43
3.2.3 輸出層和損失函數45
3.3 卷積神經網絡47
3.3.1 卷積操作和卷積層48
3.3.2 實際操作中的捲積層51
3.3.3 非線性激活層52
3.3.4 池化層53
3.3.5 卷積神經網絡總體框架53
3.4 循環神經網絡54
3.4.1 傳統循環神經網絡的網絡結構55
3.4.2 長短期記憶網絡56
3.4.3 門控循環單元58
3.5 自編碼器59
3.5.1 欠完備自編碼器59
3.5.2 正則化自編碼器60
3.6 深度神經網絡的訓練61
3.6.1 梯度下降61
3.6.2 反向傳播62
3.6.3 預防過擬合64
3.7 小結65
3.8 擴展閱讀65
第2 篇模型方法
第4 章圖嵌入69
4.1 簡介70
4.2 簡單圖的圖嵌入71
4.2.1 保留節點共現71
4.2.2 保留結構角色80
4.2.3 保留節點狀態83
4.2.4 保留社區結構84
4.3 複雜圖的圖嵌入86
4.3.1 異質圖嵌入87
4.3.2 二分圖嵌入89
4.3.3 多維圖嵌入90
4.3.4 符號圖嵌入91
4.3.5 超圖嵌入93
4.3.6 動態圖嵌入95
4.4 小結96
4.5 擴展閱讀97
第5 章圖神經網絡99
5.1 簡介100
5.2 圖神經網絡基本框架102
5.2.1 側重於節點的任務的圖神經網絡框架102
5.2.2 側重於圖的任務的圖神經網絡框架103
5.3 圖濾波器104
5.3.1 基於譜的圖濾波器104
5.3.2 基於空間的圖濾波器114
5.4 圖池化120
5.4.1 平面圖池化120
5.4.2 層次圖池化121
5.5 圖卷積神經網絡的參數學習125
5.5.1 節點分類中的參數學習126
5.5.2 圖分類中的參數學習126
5.6 小結127
5.7 擴展閱讀128
第6 章圖神經網絡的健壯性129
6.1 簡介130
6.2 圖對抗攻擊130
6.2.1 圖對抗攻擊的分類131
6.2.2 白盒攻擊132
6.2.3 灰盒攻擊135
6.2.4 黑盒攻擊139
6.3 圖對抗防禦142
6.3.1 圖對抗訓練142
6.3.2 圖淨化144
6.3.3 圖注意力機制144
6.3.4 圖結構學習148
6.4 小結149
6.5 擴展閱讀149
第7 章可擴展圖神經網絡151
7.1 簡介152
7.2 逐點採樣法155
7.3 逐層採樣法158
7.4 子圖採樣法162
7.5 小結164
7.6 擴展閱讀164
第8 章複雜圖神經網絡165
8.1 簡介166
8.2 異質圖神經網絡166
8.3 二分圖神經網絡168
8.4 多維圖神經網絡168
8.5 符號圖神經網絡170
8.6 超圖神經網絡173
8.7 動態圖神經網絡174
8.8 小結175
8.9 擴展閱讀175
第9 章圖上的其他深度模型177
9.1 簡介178
9.2 圖上的自編碼器178
9.3 圖上的循環神經網絡180
9.4 圖上的變分自編碼器182
9.4.1 用於節點表示學習的變分自編碼器184
9.4.2 用於圖生成的變分自編碼器184
9.4.3 編碼器:推論模型185
9.4.4 解碼器: 生成模型186
9.4.5 重建的損失函數186
9.5 圖上的生成對抗網絡187
9.5.1 用於節點表示學習的生成對抗網絡188
9.5.2 用於圖生成的生成對抗網絡189
9.6 小結191
9.7 擴展閱讀191
第3 篇實際應用
第10 章自然語言處理中的圖神經網絡195
10.1 簡介196
10.2 語義角色標註196
10.3 神經機器翻譯199
10.4 關係抽取199
10.5 問答系統200
10.5.1 多跳問答任務201
10.5.2 Entity-GCN 202
10.6 圖到序列學習203
10.7 知識圖譜中的圖神經網絡205
10.7.1 知識圖譜中的圖濾波205
10.7.2 知識圖譜到簡單圖的轉換206
10.7.3 知識圖譜補全207
10.8 小結208
10.9 擴展閱讀208
第11 章計算機視覺中的圖神經網絡209
11.1 簡介210
11.2 視覺問答210
11.2.1 圖像表示為圖211
11.2.2 圖像和問題表示為圖212
11.3 基於骨架的動作識別214
11.4 圖像分類215
11.4.1 零樣本圖像分類216
11.4.2 少樣本圖像分類217
11.4.3 多標籤圖像分類218
11.5 點雲學習219
11.6 小結220
11.7 擴展閱讀220
第12 章數據挖掘中的圖神經網絡221
12.1 簡介222
12.2 萬維網數據挖掘222
12.2.1 社交網絡分析222
12.2.2 推薦系統225
12.3 城市數據挖掘229
12.3.1 交通預測229
12.3.2 空氣質量預測231
12.4 網絡安全數據挖掘231
12.4.1 惡意賬戶檢測231
12.4.2 虛假新聞檢測233
12.5 小結234
12.6 擴展閱讀234
第13 章生物化學和醫療健康中的圖神經網絡235
13.1 簡介236
13.2 藥物開發與發現236
13.2.1 分子表示學習236
13.2.2 蛋白質相互作用界面預測237
13.2.3 藥物–靶標結合親和力預測239
13.3 藥物相似性整合240
13.4 複方藥物副作用預測242
13.5 疾病預測244
13.6 小結245
13.7 擴展閱讀245
第4 篇前沿進展
第14 章圖神經網絡的高級方法249
14.1 簡介250
14.2 深層圖神經網絡250
14.2.1 Jumping Knowledge 252
14.2.2 DropEdge 253
14.2.3 PairNorm 253
14.3 通過自監督學習探索未標記數據253
14.3.1 側重於節點的任務254
14.3.2 側重於圖的任務256
14.4 圖神經網絡的表達能力257
14.4.1 WL 測試258
14.4.2 表達能力259
14.5 小結260
14.6 擴展閱讀260
第15 章圖神經網絡的高級應用261
15.1 簡介262
15.2 圖的組合優化262
15.3 學習程序表示264
15.4 物理學中相互作用的動力系統推斷265
15.5 小結266
15.6 擴展閱讀266
參考文獻267
索引295
作者介紹
馬耀
密歇根州立大學博士研究生。
他將於2021年秋季學期作為助理教授加入新澤西理工學院。
他是密歇根州立大學傑出博士生獎以及FAST Fellowship的獲獎者。
他的研究興趣包括網絡嵌入和圖神經網絡。
他的論文多次發表在KDD、WWW、IJCAI、SIGIR和TKDE等數據挖掘頂級會議和期刊上。
他在眾多知名會議(如ICML、 KDD、 AAAI和IJCAI等)以及雜誌(如TKDD、TKDE和TPAMI等)擔任程序委員會委員以及審稿人。
他是AAAI圖神經網絡和KDD圖深度學習教學講座的第一組織者和演講者,這些教學講座都獲得了領域內外的巨大關注和廣泛好評。
湯繼良
密西根州立大學助理教授。
在這之前,他曾擔任雅虎研究院研究員,於2015年從亞利桑那州立大學取得博士學位。
他在圖特徵選擇、圖表徵學習、圖深度學習以及它們在互聯網和社交媒體上的應用方面做出了傑出貢獻。
他曾經獲得SIGKDD新星獎(Rising Star Award)、Withrow傑出研究獎(Distinguished Withrow Research Award)、美國自然科學基金傑出青年獎(NSF Career Award)、IJCAI早期焦點人物演講(IJCAI Early Career Talk)和包括KDD 、WSDM等在內的7項領域知名會議的最佳(或提名)論文獎。
他的博士論文獲得SIGKDD最佳博士論文(KDD Best Dissertation)亞軍和院長優秀博士論文獎(Dean's Dissertation Award)。
他是SIAM數據分析小組和ACM TKDD期刊的秘書長。
他經常當任數據挖掘頂級會議的組織者和頂級期刊的編委。
他的研究成果發表在領域頂級的期刊和會議上,現已獲得了超過14,000多次的引用(H指數為60)和媒體的廣泛關注和報導。
王怡琦
密歇根州立大學博士研究生。
她的研究興趣主要集中在圖神經網絡理論基礎及其應用。
她在計算機頂級會議(如KDD、EMNLP、WWW和AAAI等)上發表了多篇研究成果。
她曾擔任AAAI、IJCAI和CIKM等國際知名會議的程序委員會委員。
她曾參加組織KDD和AAAI圖深度學習專題教學講座,並擔任主要演講者,獲得了領域內外的巨大關注和廣泛好評。
金衛
密歇根州立大學博士研究生。
他的研究興趣集中在圖神經網絡,包括理論基礎、模型健壯性及應用。
他在KDD、AAAI、WSDM和WWW等計算機頂級會議上發表了多篇研究成果。
他還是備受業內關注的對抗攻擊和防禦工具包DeepRobust的主要貢獻者。
他曾擔任包括IJCAI和CIKM等國際知名會議的程序委員會委員。
他曾參加組織AAAI圖深度學習專題教學講座和KDD神經網絡對抗攻擊與防禦專題教學講座,並擔任主要演講者,獲得了領域內外的巨大關注和廣泛好評。