第 1章 Scrapy簡介 1
1.1 初識Scrapy 1
1.2 喜歡Scrapy的更多理由 2
1.3 關於本書：目標和用途 3
1.4 掌握自動化數據爬取的重要性 4
1.4.1 開發健壯且高質量的應用，並提供閤理規劃 4
1.4.2 快速開發高質量可行産品 5
1.4.3 Google不會使用錶單，爬取纔能擴大規模 6
1.4.4 發現並融入你的生態係統 7
1.5 在充滿爬蟲的世界裏做一個好公民 7
1.6 Scrapy不是什麼 8
1.7 本章小結 9
第 2章 理解HTML和XPath 10
2.1 HTML、DOM樹錶示以及XPath 10
2.1.1 URL 11
2.1.2 HTML文檔 11
2.1.3 樹錶示法 13
2.1.4 你會在屏幕上看到什麼 14
2.2 使用XPath選擇HTML元素 15
2.2.1 有用的XPath錶達式 16
2.2.2 使用Chrome獲取XPath錶達式 19
2.2.3 常見任務示例 20
2.2.4 預見變化 21
2.3 本章小結 22
第3章 爬蟲基礎 23
3.1 安裝Scrapy 24
3.1.1 MacOS 24
3.1.2 Windows 25
3.1.3 Linux 25
3.1.4 新源碼安裝 26
3.1.5 升級Scrapy 26
3.1.6 Vagrant：本書中運行示例的官方方式 27
3.2 UR2IM——基本抓取流程 28
3.2.1 URL 29
3.2.2 請求和響應 31
3.2.3 Item 31
3.3 一個Scrapy項目 37
3.3.1 聲明item 38
3.3.2 編寫爬蟲 40
3.3.3 填充item 43
3.3.4 保存文件 45
3.3.5 清理——item裝載器與管理字段 47
3.3.6 創建contract 50
3.4 抽取更多的URL 53
3.4.1 使用爬蟲實現雙嚮爬取 56
3.4.2 使用CrawlSpider實現雙嚮爬取 59
3.5 本章小結 61
第4章 從Scrapy到移動應用 62
4.1 選擇手機應用框架 62
4.2 創建數據庫和集閤 63
4.3 使用Scrapy填充數據庫 65
4.4 創建手機應用 68
4.4.1 創建數據庫訪問服務 69
4.4.2 創建用戶界麵 69
4.4.3 將數據映射到用戶界麵 70
4.4.4 數據庫字段與用戶界麵控件間映射 71
4.4.5 測試、分享及導齣你的手機應用 72
4.5 本章小結 73
第5章 迅速的爬蟲技巧 75
5.1 需要登錄的爬蟲 75
5.2 使用JSON API和AJAX頁麵的爬蟲 81
5.3 30倍速的房産爬蟲 85
5.4 基於Excel文件爬取的爬蟲 90
5.5 本章小結 93
第6章 部署到Scrapinghub 94
6.1 注冊、登錄及創建項目 94
6.2 部署爬蟲與計劃運行 96
6.3 訪問item 99
6.4 計劃定時爬取 100
6.5 本章小結 101
第7章 配置與管理 102
7.1 使用Scrapy設置 102
7.2 基本設置 103
7.2.1 分析 104
7.2.2 性能 107
7.2.3 提前終止爬取 108
7.2.4 HTTP緩存和離綫運行 108
7.2.5 爬取風格 109
7.2.6 feed 110
7.2.7 媒體下載 111
7.2.8 Amazon Web服務 113
7.2.9 使用代理和爬蟲 113
7.3 進階設置 114
7.3.1 項目相關設置 115
7.3.2 Scrapy擴展設置 116
7.3.3 下載調優 116
7.3.4 自動限速擴展設置 117
7.3.5 內存使用擴展設置 117
7.3.6 日誌和調試 117
7.4 本章小結 118
第8章 Scrapy編程 119
8.1 Scrapy是一個Twisted應用 119
8.1.1 延遲和延遲鏈 122
8.1.2 理解Twisted和非阻塞I/O——一個Python故事 125
8.2 Scrapy架構概述 132
8.3 示例1：非常簡單的管道 135
8.4 信號 136
8.5 示例2：測量吞吐量和延時的擴展 138
8.6 中間件延伸 141
8.7 本章小結 144
第9章 管道秘訣 145
9.1 使用REST API 146
9.1.1 使用treq 146
9.1.2 用於寫入Elasticsearch的管道 146
9.1.3 使用Google Geocoding API實現地理編碼的管道 149
9.1.4 在Elasticsearch中啓用地理編碼索引 156
9.2 與標準Python客戶端建立數據庫接口 157
9.3 使用Twisted專用客戶端建立服務接口 161
9.4 為CPU密集型、阻塞或遺留功能建立接口 166
9.4.1 處理CPU密集型或阻塞操作的管道 166
9.4.2 使用二進製或腳本的管道 168
9.5 本章小結 172
第 10章 理解Scrapy性能 173
10.1 Scrapy引擎——一種直觀方式 173
10.1.1 級聯隊列係統 175
10.1.2 定義瓶頸 176
10.1.3 Scrapy性能模型 176
10.2 使用telnet獲得組件利用率 178
10.3 基準係統 180
10.4 標準性能模型 182
10.5 解決性能問題 185
10.5.1 案例 #1：CPU飽和 185
10.5.2 案例 #2：代碼阻塞 187
10.5.3 案例 #3：下載器中的“垃圾” 188
10.5.4 案例 #4：大量響應或超長響應造成的溢齣 191
10.5.5 案例 #5：有限/過度item並發造成的溢齣 193
10.5.6 案例 #6：下載器未充分利用 194
10.6 故障排除流程 197
10.7 本章小結 198
第 11章 使用Scrapyd與實時分析進行分布式爬取 199
11.1 房産的標題是如何影響價格的 200
11.2 Scrapyd 200
11.3 分布式係統概述 203
11.4 爬蟲和中間件的變化 205
11.4.1 索引頁分片爬取 205
11.4.2 分批爬取URL 207
11.4.3 從設置中獲取初始URL 211
11.4.4 在Scrapyd服務器中部署項目 213
11.5 創建自定義監控命令 215
11.6 使用Apache Spark流計算偏移量 216
11.7 運行分布式爬取 218
11.8 係統性能 220
11.9 關鍵要點 221
11.10 本章小結 221
附錄A 軟件的安裝與故障排除 222
· · · · · · (收起)
具體描述
Scrapy是使用Python開發的一個快速、高層次的屏幕抓取和Web抓取框架，用於抓Web站點並從頁麵中提取結構化的數據。《精通Python爬蟲框架Scrapy》以Scrapy 1.0版本為基礎，講解瞭Scrapy的基礎知識，以及如何使用Python和三方API提取、整理數據，以滿足自己的需求。
本書共11章，其內容涵蓋瞭Scrapy基礎知識，理解HTML和XPath，安裝Scrapy並爬取一個網站，使用爬蟲填充數據庫並輸齣到移動應用中，爬蟲的強大功能，將爬蟲部署到Scrapinghub雲服務器，Scrapy的配置與管理，Scrapy編程，管道秘訣，理解Scrapy性能，使用Scrapyd與實時分析進行分布式爬取。本書附錄還提供瞭各種軟件的安裝與故障排除等內容。
本書適閤軟件開發人員、數據科學傢，以及對自然語言處理和機器學習感興趣的人閱讀。
用戶評價
##這本書總體來說還不錯，xpath基礎講的蠻不錯的。整個邏輯思路還是蠻清晰，但是有一點特彆蛋疼，就是版本太久，有些東西都不能用瞭。比如第三章中的urljoin()現在屬於urllib庫中的一個方法，MapCompose(unicode.strip)方法已經不能使用。我就我就粗略地將後麵給看瞭一遍，後麵難度有點大。發現不怎麼適閤用來入門scrapy框架。不過裏麵的知識點也屬於乾貨，學到不少新東西。總體來說當做一本讀物還是不錯瞭，如果想依靠這本書學習scrapy框架的話，可能會有點遺憾。
評分##基礎要求較高。
評分##走馬觀花看完的一本書，翻譯不算太好。 可能是我太菜瞭，看著有些費力。
評分距離上一本技術書籍，這是過去多少年瞭，真是慚愧。感覺這真是一本好書，由淺入深，輕鬆愉悅。很快就看完瞭。此前看文檔和網上零碎的文章學 Scrapy，真是痛苦死瞭，這書是個很好的路徑規劃。打 4 星，扣分在 5毛 的插圖上麵…… 補充兩句，感覺不要太糾結版本的問題，現在軟件版本翻新很快的，不過我看著 1.8 的文檔學瞭半天，迴來看這個老版本，沒覺得有什麼地方老舊過時，核心概念都沒變化。如果用的時候，發現不對瞭，那順便看看文檔，正好當作復習和鞏固瞭。
評分##很不錯啊。使用scrapy1.0的。
評分##第 8 章 Twisted 編程、接口圖、第 9 章非阻塞 pipeline，第 10 章 scrapy 性能分析，這些比較有價值，其他一般。第4章、第6章都是軟廣。
評分距離上一本技術書籍，這是過去多少年瞭，真是慚愧。感覺這真是一本好書，由淺入深，輕鬆愉悅。很快就看完瞭。此前看文檔和網上零碎的文章學 Scrapy，真是痛苦死瞭，這書是個很好的路徑規劃。打 4 星，扣分在 5毛 的插圖上麵…… 補充兩句，感覺不要太糾結版本的問題，現在軟件版本翻新很快的，不過我看著 1.8 的文檔學瞭半天，迴來看這個老版本，沒覺得有什麼地方老舊過時，核心概念都沒變化。如果用的時候，發現不對瞭，那順便看看文檔，正好當作復習和鞏固瞭。
評分##@2019-03-13 19:01:37
評分##基礎要求較高。
相關圖書
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2026 book.tinynews.org All Rights Reserved. 静思书屋 版权所有