Python網絡爬蟲技術與應用
內容描述
網絡爬蟲技術的重點之一是網絡爬蟲框架，因此《Python網絡爬蟲技術與應用》結合網絡爬蟲框架的相關案例重點介紹網絡爬蟲的常見框架，包括PySpider網絡爬蟲框架的安裝和使用，Scrapy網絡爬蟲框架的安裝和使用，以及Scrapy網絡爬蟲管理與部署。另外，《Python網絡爬蟲技術與應用》對Python網絡爬蟲開發需要的reguests庫、Scrapy解析庫、存儲庫、XPath進行了介紹，並介紹了requests庫、正則表達式、XPath等的使用方法，還重點講解了這些庫的實際應用。
《Python網絡爬蟲技術與應用》以Python網絡爬蟲開發為主線，兼顧理論與實戰，全面介紹可操作的Python環境與系統開發相關知識，以及大數據算法、大數據分析、大數據系統互補的作用。另外，《Python網絡爬蟲技術與應用》還贈送課程大綱、教學課件PPT、實驗手冊、各章習題及答案、期末試捲及答案、教學和實驗視頻，方便教師授課。
《Python網絡爬蟲技術與應用》可作為高等院校大數據、電腦、電子信息、軟件技術相關專業研究生和高年級本科生的教材，也可作為大數據及編程愛好者的參考用書。
目錄大綱
目錄
第1章 網絡爬蟲概述
1.1 網絡爬蟲簡介
1.1.1 網絡爬蟲的概念與類別
1.1.2 網絡爬蟲的流程
1.1.3 網絡爬蟲的抓取
1.2 網絡爬蟲的攻防戰
1.3 反網絡爬蟲技術及解決方案
1.4 本章習題
第2章 Python基本知識介紹
2.1 Python編程
2.1.1 Python的安裝與環境配置
2.1.2 PyCharm的安裝與使用
2.2 HTML基本原理
2.2.1 HTML簡介
2.2.2 HTML的基本原理
2.3 基本庫的使用
2.3.1 urllib庫
2.3.2 requests庫
2.3.3 re庫
2.4 實戰案例：百度新聞的抓取
2.5 本章習題
第3章 原生態網絡爬蟲開發
3.1 requests庫詳解
3.1.1 requests語法
3.1.2 requests庫的使用
3.2 正則表達式
3.2.1 正則表達式詳解與使用
3.2.2 Python與Excel
3.3 實戰案例：環球新聞的抓取
3.4 本章習題
第4章 解析HTML內容
4.1 XPath的介紹與使用
4.1.1 XPath的介紹
4.1.2 XPath的使用
4.2 lxml庫的安裝與使用
4.2.1 lxml庫的安裝
4.2.2 lxml庫的常見方法使用
4.3 Chrome瀏覽器分析網站
4.4 BeautifulSoup的安裝與使用
4.5 實戰案例：BeautifulSoup的使用
4.6 頁面請求與JSON
4.6.1 JSON的介紹與應用
4.6.2 GET請求和POST請求
4.7 模擬瀏覽器
4.7.1 Selenium的介紹與安裝
4.7.2 模擬點擊
4.7.3 Ajax結果提取
4.8 實戰案例：小說網站的抓取
4.9 模擬登錄與驗證
4.9.1 復雜的頁面請求
4.9.2 代理IP
4.9.3 Cookie的使用與證書
4.9.4 使用Selenium進行模擬登錄
4.10 驗證碼
4.10.1 手動打碼
4.10.2 自動打碼
4.11 實戰案例：模擬登錄及驗證
4.11.1 基本思路與方法
4.11.2 使用Cookie
4.12 本章習題
第5章 Python與數據庫
5.1 MySQL數據庫的安裝與應用
5.1.1 MySQL數據庫的安裝
5.1.2 MySQL數據庫的應用
5.2 MongoDB的安裝與使用
5.2.1 MongoDB的安裝
5.2.2 MongoDB的使用
5.2.3 MongoDB的可視化工具RockMongo
5.3 Python庫pymongo
5.4 本章習題
第6章 Python網絡爬蟲框架
6.1 Python網絡爬蟲的常見框架
6.2 PySpider網絡爬蟲框架簡介
6.3 Scrapy網絡爬蟲框架簡介
6.4 PySpider與Scrapy的區別
6.5 PySpider網絡爬蟲框架的安裝和使用
6.5.1 PySpider的安裝與部署
6.5.2 PySpider的界面介紹
6.5.3 PySpider的多線程網絡爬蟲
6.5.4 使用Phantomjs渲染
6.5.5 PySpider網絡爬蟲時間控制
6.5.6 RabbitMQ隊伍去重
6.5.7 在Linux系統下安裝部署PySpider
6.5.8 實戰案例：使用PySpider抓取題庫
6.6 Scrapy網絡爬蟲框架的安裝和使用
6.6.1 Scrapy的簡介與安裝
6.6.2 Scrapy的項目文件介紹
6.6.3 Scrapy的使用
6.6.4 Scrapy中使用XPath
6.6.5 Scrapy與MongoDB
6.6.6 Scrapy_Redis的安裝與使用
6.6.7 使用Redis緩存網頁並自動去重
6.6.8 實戰案例：抓取豆瓣Top250
6.7 Scrapy網絡爬蟲管理與部署
6.7.1 Scrapyd管理網絡爬蟲
6.7.2 使用SpiderKeeper進行任務監控與定時抓取
6.7.3 Supervisor網絡爬蟲進程管理
6.7.4 Scrapy項目設計思路
6.7.5 實戰案例
6.8 本章習題
第7章 綜合性實戰案例
7.1 實戰案例1：瀑布流抓取
7.2 實戰案例2：網絡爬蟲攻防戰
7.2.1 網絡爬蟲攻防技術認識
7.2.2 代理IP地址網站
7.2.3 抓取新浪微博內容
7.2.4 獲得微博內容信息並保存到文本中
7.3 實戰案例3：分佈式抓取
7.3.1 背景/案例知識介紹
7.3.2 某研究中心的數據抓取
7.3.3 查看效果
7.4 實戰案例4：微信公眾號文章點贊閱讀數抓取
7.4.1 所運用的內容講解
7.4.2 抓取微信公眾號文章的評論數據
7.4.3 效果展示
本章習題
參考文獻
