大數據分析:Python 爬蟲、數據清洗和數據可視化, 2/e (微課視頻版)

大數據分析:Python 爬蟲、數據清洗和數據可視化, 2/e (微課視頻版)

作者: 黃源 蔣文豪 龍穎
出版社: 清華大學
出版在: 2022-09-01
ISBN-13: 9787302605232
ISBN-10: 7302605238





內容描述


本書的編寫目的是向讀者介紹大數據分析的基本概念和相應的技術應用。全書共10章,分別介紹大數據概述、爬蟲和大數據相關技術、Scrapy爬蟲、Python與MySQL數據庫連接與查詢、數據可視化基礎與應用、大數據存儲與清洗、數據格式與編碼技術、數據抽取與採集、pandas數據分析與清洗以及綜合實訓。本書將理論與實踐操作相結合,通過大量的案例幫助讀者快速瞭解和應用大數據分析相關技術,並對書中重要的、核心的知識點加大練習的比例,以達到熟練應用的目的。 本書可作為高等院校大數據專業、人工智能專業、軟件技術專業、雲計算專業、電腦網絡專業的專業課教材,也可作為大數據愛好者的參考書。


目錄大綱


源碼下載
 
目錄
第1章大數據
 
1.1大數據概述
 
1.1.1大數據介紹
 
1.1.2大數據的特徵
 
1.1.3大數據技術基礎
 
1.1.4大數據應用
 
1.2大數據的意義
 
1.2.1大數據的國家戰略意義
 
1.2.2大數據的企業意義
 
1.2.3我國大數據市場的預測
 
1.3大數據的產業鏈分析
 
1.3.1技術分析
 
1.3.2運營分析
 
1.4本章小結
 
1.5實訓
 
習題
 
第2章爬蟲與大數據
 
2.1爬蟲概述
 
2.1.1爬蟲介紹
 
2.1.2爬蟲的地位與作用
 
2.2Python介紹
 
2.2.1Python開發環境的搭建
 
2.2.2編寫Python程序
 
2.2.3Python數據類型
 
2.3爬蟲相關知識
 
2.3.1瞭解網頁結構
 
2.3.2Python與爬蟲
 
2.3.3基礎爬蟲框架
 
2.3.4正則表達式
 
2.4利用爬蟲抓取網頁內容
 
2.4.1觀察與分析頁面
 
2.4.2抓取過程分析
 
2.4.3獲取頁面內容
 
2.5本章小結
 
2.6實訓
 
習題
 
 
 
 
 
第3章Scrapy爬蟲
 
3.1Scrapy爬蟲概述
 
3.2Scrapy原理
 
3.2.1Scrapy框架的架構
 
3.2.2Request對象和Response對象
 
3.2.3Select對象
 
3.2.4Spider開發流程
 
3.3Scrapy的開發與實現
 
3.3.1Scrapy爬蟲的開發流程
 
3.3.2創建Scrapy項目並查看結構
 
3.3.3編寫代碼並運行爬蟲
 
3.4本章小結
 
3.5實訓
 
習題
 
第4章數據庫連接與查詢
 
4.1數據庫
 
4.1.1數據庫概述
 
4.1.2關系數據庫設計
 
4.2MySQL數據庫
 
4.2.1MySQL數據庫概述
 
4.2.2MySQL數據庫的下載、安裝與運行
 
4.2.3MySQL數據庫命令行入門
 
4.3使用Python操作MySQL數據庫
 
4.3.1pymysql的安裝與使用
 
4.3.2使用Python連接MySQL數據庫
 
4.4本章小結
 
4.5實訓
 
習題
 
第5章數據可視化基礎與應用
 
5.1數據可視化
 
5.1.1數據可視化概述
 
5.1.2數據可視化工具
 
5.1.3數據可視化圖表
 
5.2matplotlib可視化基礎
 
5.2.1numpy庫
 
5.2.2matplotlib的認識與安裝
 
5.2.3matplotlib測試
 
5.2.4matplotlib.pyplot庫
 
5.3matplotlib可視化繪圖
 
5.3.1繪制線性圖形
 
5.3.2繪制柱狀圖
 
5.3.3繪制直方圖
 
5.3.4繪制散點圖
 
5.3.5繪制極坐標圖
 
5.3.6繪制餅圖
 
5.4pyecharts可視化應用
 
5.5本章小結
 
5.6實訓
 
習題
 
第6章大數據存儲與清洗
 
6.1大數據存儲
 
6.2數據清洗
 
6.2.1數據清洗概述
 
6.2.2數據清洗的原理
 
6.2.3數據清洗的流程
 
6.2.4數據清洗的工具
 
6.3數據標準化
 
6.3.1數據標準化的概念
 
6.3.2數據標準化的方法
 
6.3.3數據標準化的實例
 
6.4本章小結
 
6.5實訓
 
習題
 
第7章數據格式與編碼技術
 
7.1文件格式
 
7.2數據類型與編碼
 
7.2.1數據類型概述
 
7.2.2字符編碼
 
7.2.3數據轉換
 
7.3Kettle數據清洗與轉換工具的使用
 
7.3.1Kettle概述
 
7.3.2Kettle的安裝與使用
 
7.4CSV格式的數據轉換
 
7.4.1CSV格式概述
 
7.4.2CSV與JSON文件的轉換
 
7.5本章小結
 
7.6實訓
 
習題
 
第8章數據抽取與採集
 
8.1數據抽取
 
8.2文本抽取與實現
 
8.2.1文本文件的抽取
 
8.2.2CSV文件的抽取
 
8.2.3JSON文件的抽取
 
8.3網頁數據抽取與實現
 
8.3.1網頁數據抽取
 
8.3.2Excel抽取網頁數據
 
8.3.3Kettle抽取網頁數據
 
8.4數據採集與實現
 
8.5本章小結
 
8.6實訓
 
習題
 
第9章pandas數據分析與清洗
 
9.1認識pandas
 
9.2pandas的語法與使用
 
9.3pandas讀取與清洗數據
 
9.3.1數據準備
 
9.3.2從CSV中讀取數據
 
9.3.3pandas數據清洗
 
9.4pandas數據可視化
 
9.4.1pandas繪圖概述
 
9.4.2pandas繪圖方法
 
9.5本章小結
 
9.6實訓
 
習題
 
第10章綜合實訓
 
10.1數據清洗實訓
 
10.1.1使用Kettle對生成的隨機數實現字段選擇
 
10.1.2使用Kettle連接不同的數據表
 
10.1.3使用Kettle過濾數據表
 
10.1.4使用Kettle連接MySQL數據庫並輸出查詢結果
 
10.2數據分析實訓
 
10.3本章小結
 
習題
 
參考文獻




相關書籍

商戰數據挖掘 你需要瞭解的數據科學與分析思維 (Data science for business)

作者 [美]大眾特·普羅沃斯特(Foster Provost) 湯姆·福西特(Tom Fawcett)

2022-09-01

Intro to Python for Computer Science and Data Science: Learning to Program with AI, Big Data and The Cloud

作者 Paul J. Deitel Harvey Deitel

2022-09-01

機器學習算法與應用(微課視頻版)

作者 楊雲 段宗濤

2022-09-01