Python 網路爬蟲實戰
內容描述
透過常用的實例,詳細說明網路爬蟲的編寫過程
內容豐富,案例經典,實用性強。
涵蓋了Linux & Windows上模組的安裝配置。
本書從Python最基礎的部份講起,延伸到Python目前最流行的應用 ─ 網路爬蟲,講解了目前應用最廣泛的幾種Python爬行框架,並提供了詳細範例做參考,幫助讀者學習Python並開發出符合自己要求的網路爬蟲。本書是以學習如何爬取網站內容,著重程式技巧的分享。書中所爬取的網站,因各個網站經常改版,甚至可能不存在了。書中程式碼難免無法立即作調整,請讀者自行參考書中介紹的程式技巧,斟酌調整。
目錄大綱
第1章 Python環境配置
Python語言使用範圍很廣,。尤其是對網路的大力支援,使得Python用於網路程式設計具有很大的優勢,這也是為什麼要用Python寫網路爬蟲的原因之一。
第2章 Python基礎
本章簡略講解Python的基礎,介紹Python與其他程式設計語言的不同之處。
第3章 簡單的Python腳本
本章的幾個Python小程式都比較簡單。學習Python最快的方法就是多寫程式,用程式解決實際問題。Python並不複雜,多寫、多做、多練,很快就能掌握。
第4章 Python爬蟲常用模組
Python最強大的方面就展現在它那近乎無限的模組庫上。本章將只講解與網路爬蟲有關的常用模組。
第5章 Scrapy爬蟲框架
本章詳細介紹Scrapy爬蟲框架的使用,由易到難示範了Scrapy爬蟲爬取網頁的過程,並透過爬蟲與反爬蟲的攻守過程,讓讀者一窺Scrapy中介軟體的使用方法。
第6章 Beautiful Soup爬蟲
上一章節講解了Python的爬蟲框架Scrapy。本章將詳細講解另一個Python爬蟲Beautiful Soup。與Scrapy不同的是Beautiful Soup並不是一個框架,而是一個模組。因此,Beautiful Soup不能再做填空題了,只能從頭到尾的寫作文了。
第7章 Mechanize模擬瀏覽器
Mechanize不是爬蟲,它不是得到爬蟲結果的充要條件,但在某些時候比爬蟲更加重要。畢竟爬蟲過濾的來源資料要靠Mechanize來取得。大多數時候的確可以用別的模組來替代Mechanize,這樣一來過程就未免有些複雜了。雖然爬蟲程式追求的只是結果,過程是否繁雜對結果沒有影響,但能用簡單的模組解決問題就沒必要用複雜的方法。
第8章 Selenium模擬瀏覽器
Python網路爬蟲中最麻煩的不是那些需要登錄才能取得資料的網站,而是那些透過JavaScript取得資料的網站。Python對JavaScript的支援不太好。想用Python取得網站中JavaScript返回的資料,唯一的方法就是模擬瀏覽器了。所以這裡需要一款可以模擬真實瀏覽器的模組—Selenium模組。