简体网页||繁体网页

☆☆☆☆☆

崔庆才 著

图书标签:

• Python3
• 网络爬虫
• 爬虫实战
• 数据采集
• Web爬虫
• 编程入门
• 开发
• 正版图书
• 包邮
• 技术

店铺： 蓝墨水图书专营店

出版社： 人民邮电

ISBN：9787115480347

商品编码：26114674847

Python3网络爬虫开发实战

本书介绍了如何利用 Python 3 开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识 ;然后讨论了 urllib、requests 等请求库，Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法；接着通过多个案例介绍了如何进行 Ajax 数据爬取，如何使用 Selenium 和 Splash 进行动态网站爬取; 接着介绍了爬虫的一些技巧，比如使用代理爬取和维护动态代理池的方法，ADSL 拨号代理的使用，图形、 极验、点触、宫格等各类验证码的破解方法，模拟登录网站爬取的方法及 Cookies 池的维护。 此外，本书还结合移动互联网的特点探讨了使用 Charles、mitmdump、Appium 等工具实现 App 爬取 的方法，紧接着介绍了 pyspider 框架和 Scrapy 框架的使用，以及分布式爬虫的知识，最后介绍了 Bloom Filter 效率优化、Docker 和 Scrapyd 爬虫部署、Gerapy 爬虫管理等方面的知识。

作者：崔庆才

系列书名图灵原创

执行编辑关于本书的内容有任何问题，请联系 王军花

书 号978-7-115-48034-7

页 数608

印刷方式单色

开 本16开

出版状态正在排版

定价99.00

 

本书特色

1.本书详细介绍了爬虫的关键技术，涵盖面广，实用性强。

2.本书作者崔庆才，北京航空航天大学硕士，北京钉趣网络公司技术总监，其个人博客为cuiqingcai.com，其上爬虫文章的浏览量总计已过百万。

 

目录

本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

本书适合Python程序员阅读。

1-开发环境配置

1.1-Python3的安装

1.2-请求库的安装

1.2.1-Requests的安装

1.2.2-Selenium的安装

1.2.3-ChromeDriver的安装

1.2.4-GeckoDriver的安装

1.2.5-PhantomJS的安装

1.2.6-aiohttp的安装

1.3-解析库的安装

1.3.1-lxml的安装

1.3.2-Beautiful Soup的安装

1.3.3-pyquery的安装

1.3.4-tesserocr的安装

1.4-数据库的安装

1.4.1-MySQL的安装

1.4.2-MongoDB安装

1.4.3-Redis的安装

1.5-存储库的安装

1.5.1-PyMySQL的安装

1.5.2-PyMongo的安装

1.5.3-redis-py的安装

1.5.4-RedisDump的安装

1.6-Web库的安装

1.6.1-Flask的安装

1.6.2-Tornado的安装

1.7-App爬取相关库的安装

1.7.1-Charles的安装

1.7.2-mitmproxy的安装

1.7.3-Appium的安装

1.8-爬虫框架的安装

1.8.1-pyspider的安装

1.8.2-Scrapy的安装

1.8.3-Scrapy-Splash的安装

1.8.4-Scrapy-Redis的安装

1.9-部署相关库的安装

1.9.1-Docker的安装

1.9.2-Scrapyd的安装

1.9.3-Scrapyd-Client的安装

1.9.4-Scrapyd API的安装

1.9.5-Scrapyrt的安装

1.9.6-Gerapy的安装

2-爬虫基础

2.1-HTTP基本原理

2.2-网页基础

2.3-爬虫的基本原理

2.4-会话和Cookies

2.5-代理的基本原理

3-基本库的使用

3.1-使用urllib

3.1.1-发送请求

3.1.2-处理异常

3.1.3-解析链接

3.1.4-分析Robots协议

3.2-使用requests

3.2.1-基本用法

3.2.2-高级用法

3.3-正则表达式

3.4-抓取猫眼电影排行

4-解析库的使用

4.1-使用XPath

4.2-使用Beautiful Soup

4.3-使用pyquery

5-数据存储

5.1-文件存储

5.1.1-TXT文本存储

5.1.2-JSON文件存储

5.1.3-CSV文件存储

5.2-关系型数据库存储

5.2.1-MySQL存储

5.3-非关系型数据库存储

5.3.1-MongoDB存储

5.3.2-Redis存储

6-Ajax数据爬取

6.1-什么是Ajax

6.2-Ajax分析方法

6.3-Ajax结果提取

6.4-分析Ajax爬取今日头条街拍美图

7-动态渲染页面爬取

7.1-Selenium的使用

7.2-Splash的使用

7.3-Splash负载均衡配置

7.4-使用Selenium爬取淘宝商品

8-验证码的识别

8.1-图形验证码的识别

8.2-极验滑动验证码的识别

8.3-点触验证码的识别

8.4-微博宫格验证码的识别

9-代理的使用

9.1-代理的设置

9.2-代理池的维护

9.3-付费代理的使用

9.4-ADSL拨号代理

9.5-使用代理爬取微信公众号文章

10-模拟登录

10.1-模拟登录并爬取GitHub

10.2-Cookies池的搭建

11-App的爬取

11.1-Charles的使用

11.2-mitmproxy的使用

11.3-mitmdump爬取“得到”App电子书信息

11.4-Appium的基本使用

11.5-Appium爬取微信朋友圈

11.6-Appium+mitmdump爬取京东商品

12-pyspider框架的使用

12.1-pyspider框架介绍

12.2-pyspider的基本使用

12.3-pyspider用法详解

13-Scrapy框架的使用

13.1-Scrapy框架介绍

13.2-Scrapy入门

13.3-Selector的用法

13.4-Spider的用法

13.5-Downloader Middleware的用法

13.6-Spider Middleware的用法

13.7-Item Pipeline的用法

13.8-Scrapy对接Selenium

13.9-Scrapy对接Splash

13.10-Scrapy通用爬虫

13.11-Scrapyrt的使用

13.12-Scrapy对接Docker

13.13-Scrapy爬取新浪微博

14-分布式爬虫

14.1-分布式爬虫原理

14.2-Scrapy-Redis源码解析

14.3-Scrapy分布式实现

14.4-Bloom Filter的对接

15-分布式爬虫的部署

15.1-Scrapyd分布式部署

15.2-Scrapyd-Client的使用

15.3-Scrapyd对接Docker

15.4-Scrapyd批量部署

15.5-Gerapy分布式管理

深入探索Python网络爬虫的奥秘：从入门到精通 在信息爆炸的时代，数据成为了驱动一切的核心要素。而网络爬虫，作为获取这些宝贵数据的强大工具，其重要性日益凸显。它能够自动化地从互联网上抓取海量信息，为数据分析、机器学习、商业智能以及科研探索等众多领域提供源源不断的养分。如果您渴望掌握这项技能，从零开始构建自己的数据采集系统，那么这本书将是您不可多得的伙伴。 本书并非简单罗列API接口或技巧，而是力求带领读者深入理解网络爬虫背后的原理，掌握构建高效、稳定、健壮的爬虫系统的完整流程。我们将从最基础的概念出发，逐步引导您走向精通，让您不仅知其然，更知其所以然。 第一部分：爬虫基础与理论基石 在正式踏上爬虫开发之旅前，扎实的理论基础是必不可少的。本部分将为您构建坚实的知识体系。 互联网的运作机制： 我们将从HTTP/HTTPS协议的底层原理开始，深入剖析请求（Request）与响应（Response）的交互过程，了解URL的构成、HTTP方法（GET, POST等）的含义与应用，以及常见的HTTP状态码所代表的意义。这将帮助您理解爬虫程序是如何与Web服务器进行通信的。 HTML与CSS： 网页内容的结构和样式由HTML和CSS定义。我们将系统地学习HTML的常用标签、属性及其嵌套关系，理解DOM（文档对象模型）的概念，以及CSS选择器的工作原理。掌握这些，您才能精准地定位并提取网页中的目标信息。 JavaScript在网页中的作用： 许多现代网站 heavily 依赖JavaScript来动态生成内容或处理用户交互。我们将介绍JavaScript的基本概念，理解AJAX（Asynchronous JavaScript and XML）的工作模式，并学习如何通过分析JavaScript代码来理解动态加载的数据。 数据编码与字符集： 互联网上的数据形态万千，正确处理字符编码（如UTF-8, GBK等）是避免乱码问题的关键。我们将探讨不同编码方式的原理，并学习如何在爬虫中正确地识别和解码文本数据。 网络爬虫的基本流程： 从一个简单的爬虫任务开始，我们将梳理出完整的爬虫开发流程：URL的生成与管理、HTTP请求的发送、HTML内容的解析、数据的提取、数据的存储，以及如何处理异常情况。 第二部分：Python爬虫核心技术实战 掌握了基础理论，我们将进入Python爬虫开发的实战环节，运用强大的Python库来高效地完成各项任务。 Requests库：优雅地发送HTTP请求： Requests是Python中最受欢迎的HTTP库之一，以其简洁易用的API著称。我们将学习如何使用Requests库发送各种类型的HTTP请求，包括GET、POST，如何设置请求头（Headers）、Cookie，以及如何处理会话（Session）以维持登录状态。 Beautiful Soup：解析HTML/XML的利器： Beautiful Soup是一个强大的HTML/XML解析库，能够轻松地从复杂的网页结构中提取数据。我们将学习如何使用CSS选择器和XPath表达式来精确定位目标元素，并提取其文本内容、属性值等。 Scrapy框架：构建高效、可扩展的爬虫系统： Scrapy是一个功能强大、高度可扩展的Python爬虫框架。我们将深入学习Scrapy的核心组件，包括Spider、Item、Loader、Pipeline等，掌握如何使用Scrapy来开发大型、复杂的网络爬虫项目，实现数据的异步抓取、去重、调度等高级功能。 XPath与CSS选择器的进阶应用： 除了基本的选择器语法，我们还将学习更复杂的XPath和CSS选择器用法，如层级选择、属性选择、文本内容选择以及函数的使用，从而应对各种复杂的网页布局。 处理动态网页（JavaScript渲染）： 许多网站的内容是动态加载的，直接使用Requests可能无法获取完整数据。我们将学习如何结合使用Selenium、Playwright等浏览器自动化工具，模拟用户真实操作，驱动浏览器加载JavaScript，从而获取动态生成的内容。 验证码的处理策略： 验证码是网站防止爬虫的重要手段。我们将探讨不同类型的验证码，并介绍一些常见的处理方法，包括识别库（如Tesseract OCR）的应用，以及第三方打码平台的使用。 IP代理与轮换： 为了避免IP被封禁，我们需要掌握IP代理的使用技巧。我们将学习如何配置和使用HTTP/SOCKS代理，实现IP地址的随机轮换，提高爬虫的稳定性和匿名性。 反爬虫机制的应对： 互联网上存在各种各样的反爬虫策略，例如User-Agent检测、Referer检测、频率限制、JS混淆等。我们将深入分析这些反爬虫机制，并学习相应的应对方法，如模拟浏览器User-Agent、随机化请求间隔、分析JS代码逻辑等。 第三部分：数据存储与进阶应用 爬取到的数据需要进行有效的存储和管理，以便后续的分析和利用。本部分将关注数据的落地与更高级的应用。 数据存储方式： 文件存储： CSV、JSON、XML等常见文件格式的读写操作，适用于简单的数据存储需求。 关系型数据库： MySQL、PostgreSQL等，学习如何使用SQLAlchemy等ORM（对象关系映射）工具将爬取到的数据持久化到数据库中。 NoSQL数据库： MongoDB、Redis等，探讨其在爬虫数据存储中的优势，以及相应的Python操作方法。 数据清洗与处理： 爬取到的原始数据往往需要进行清洗和格式化。我们将学习如何使用Pandas库进行高效的数据清洗、去重、格式转换和数据规整。 多线程与异步编程： 为了提高爬虫的效率，我们将学习Python的多线程和多进程编程，以及利用asyncio等异步IO框架，实现高效并发抓取，大幅缩短爬取时间。 分布式爬虫： 当抓取数据量巨大时，单机爬虫已无法满足需求。我们将初步了解分布式爬虫的概念，以及一些常用的分布式爬虫框架或解决方案，为构建大规模数据采集平台打下基础。 爬虫的部署与监控： 将开发的爬虫程序部署到服务器上，实现7x24小时不间断运行。我们将介绍一些常见的部署方案，如使用Docker、Celery等，并探讨如何对爬虫进行监控和日志管理，及时发现并解决问题。 合法合规的爬虫开发： 在进行网络爬虫开发时，遵守法律法规和网站的服务条款至关重要。我们将强调尊重 Robots.txt 协议，避免对目标网站服务器造成过大压力，以及关注数据隐私和版权问题。 本书特色： 理论与实践并重： 既有深入的理论讲解，也有丰富的实战案例，让您在理解原理的同时，也能熟练掌握开发技巧。 由浅入深，循序渐进： 从零基础开始，逐步引入更高级的概念和技术，适合不同水平的学习者。 丰富的代码示例： 所有知识点都配有清晰、可运行的代码示例，方便您动手实践和对照学习。 真实项目场景模拟： 案例取材于实际的爬虫开发场景，帮助您掌握解决真实世界问题的能力。 注重细节与易用性： 强调代码的规范性、可读性和可维护性，帮助您养成良好的编程习惯。 通过学习本书，您将能够独立开发满足各种需求的网络爬虫，从简单的信息抓取到复杂的网站数据挖掘，都能游刃有余。您将掌握成为一名优秀网络爬虫工程师的核心技能，为您的技术生涯开辟更广阔的道路。让我们一起开启这段激动人心的Python网络爬虫探索之旅吧！

评分☆☆☆☆☆

说实话，我是一名完全的编程小白，之前对 Python 只是听说过，了解得不多，更别提什么网络爬虫了。偶然的机会，在一个技术论坛上看到有人推荐《Python 3网络爬虫开发实战》，说是非常适合入门。虽然我有点担心自己基础太差跟不上，但还是抱着试一试的心态入手了。拿到书的那一刻，我的第一个感觉就是“厚实”，内容应该很丰富。翻开第一页，看到作者的开篇语，感觉很亲切，没有那种高高在上的感觉，而是像一位经验丰富的老师在引导学生。目录的设计也很直观，从最基础的 Python 语法，到网络请求的原理，再到各种具体的爬虫工具的使用，循序渐进，让我觉得虽然是小白，但似乎也有可能啃下来。我特别希望书中能有大量生动的代码示例，并且能够对每一个代码块都进行详细的解释，这样我才能真正理解“为什么这么写”，而不仅仅是“怎么写”。另外，对于爬虫过程中可能遇到的各种问题，比如网页结构的变化、数据解析的难点、以及如何避免被网站屏蔽等，希望书中都能提供一些实用的技巧和方法，让我少走弯路。这本书给我的感觉是，它不仅仅是一本书，更像是一个学习路径，一个循序渐进的引导，这让我这个小白充满了信心。

评分☆☆☆☆☆

作为一名在数据分析领域摸爬滚打了几年的从业者，我深知高质量数据的重要性，而网络爬虫是获取大量一手数据的关键技术之一。我之前断断续续地接触过一些爬虫相关的技术，也尝试过用一些简单的 Python 脚本来抓取信息，但总觉得不够系统，尤其是在面对复杂的动态网页和各种反爬机制时，常常感到力不从心。《Python 3网络爬虫开发实战》这本书的出现，恰好填补了我在这些方面的空白。我关注的是这本书的“实战”部分，希望能从中学习到如何构建一个健壮、高效、可维护的爬虫系统。特别是对于那些使用 Ajax 加载、JavaScript 渲染，甚至是登录验证才能访问的网站，如何有效地进行数据抓取，是我一直想要攻克的难点。书中对于各种主流爬虫框架（如 Scrapy）的深入讲解，以及对各种反爬技术的剖析和应对策略，是我最期待的内容。我希望这本书能够提供一些实用的代码模板，以及针对不同场景的解决方案，让我能够快速地将学到的知识应用于实际工作中，从而提升数据采集的效率和质量。同时，我也关注书中在数据清洗、去重以及如何合规地进行数据爬取方面的建议，这些都是在实际工作中非常重要的考量因素。

评分☆☆☆☆☆

收到了一直期待的《Python 3网络爬虫开发实战》，迫不及待地翻开，心里其实是抱着一种“试试看”的心态。我之前接触过一些爬虫的入门知识，零零散散地看过一些零散的教程，也尝试过写一些简单的脚本，但总感觉不得章法，效率不高，而且遇到稍微复杂一点的网站就束手无策了。这本书的书名本身就挺吸引人的，“开发实战”，听起来就不是那种只讲理论的，而是真正能教会你怎么去做的。第一印象是纸张质量不错，印刷也很清晰，这一点对于长时间阅读来说很重要。目录看上去比较全面，涵盖了从基础到进阶的很多方面，比如HTTP协议、Beautiful Soup、Scrapy框架、反爬虫策略等等。我比较期待的是它在“实战”部分的内容，希望能够通过具体的案例，让我理解那些抽象的概念，并且能够真正掌握如何去解决实际遇到的爬虫难题。比如，对于那些 AJAX 加载、JavaScript 渲染的页面，我一直觉得很头疼，不知道该如何下手，这本书里会不会有专门的章节来讲解这方面的内容呢？还有，关于数据存储方面，是只讲基本的文件读写，还是会涉及到数据库的操作，比如 SQLite 或者 MySQL？这些都是我非常关心的问题。总而言之，这本书给我的第一印象是专业且有深度，希望里面的内容能够真正帮助我提升爬虫开发的能力。

评分☆☆☆☆☆

我之前尝试过用 Python 做一些数据分析的工作，但对于网络爬虫一直是一知半解，很多时候为了获取数据，不得不依赖别人提供的数据集，或者手动去复制粘贴，效率低得可怜。在网上搜寻相关资料时，看到了《Python 3网络爬虫开发实战》，书名听起来就非常务实，承诺“开发实战”，这正是我需要的。拿到书之后，我先快速浏览了一下目录，发现内容安排得相当合理，从Python基础的复习，到网络协议的讲解，再到各种爬虫库和框架的介绍，最后还有反爬策略的应对，几乎涵盖了爬虫开发的整个流程。我尤其对书中关于 Scrapy 框架的部分很感兴趣，据说 Scrapy 是一个非常强大且高效的爬虫框架，但网上关于它的教程往往要么过于简略，要么就非常碎片化，很难形成一个完整的认知。希望这本书能像一本葵花宝典一样，把我带入 Scrapy 的世界，让我能够搭建起属于自己的、高效的爬虫项目。另外，对于很多新手都会遇到的“反爬虫”问题，比如验证码、IP 限制、User-Agent 伪装等等，书中是否有详细的讲解和解决方案？这一点对我来说至关重要，因为很多有价值的数据都隐藏在那些“不容易”爬取的网站后面。这本书的装帧设计也显得很专业，文字清晰，排版舒适，阅读起来应该会是一种享受。

评分☆☆☆☆☆

我是一名计算机专业的在校学生，最近在学习 Python 编程，也对网络爬虫这个方向非常感兴趣，觉得它在信息获取和自动化方面有很大的应用前景。《Python 3网络爬虫开发实战》这本书，我是在一次偶然的机会下看到的，书名中的“实战”两个字立刻吸引了我，因为我觉得理论知识很重要，但更重要的是能够将其应用到实际的项目中。我的初步印象是，这本书的内容应该比较丰富，而且逻辑性很强，能够帮助我建立起一个完整的爬虫开发知识体系。我特别关注书中关于爬虫的“开发流程”和“实战案例”的部分，希望能够通过具体的项目，例如爬取某个电商网站的商品信息，或者某个新闻网站的资讯，来学习如何从零开始搭建一个完整的爬虫项目。这包括如何分析网页结构，如何使用不同的解析库（如 Beautiful Soup、lxml），如何使用爬虫框架（如 Scrapy）来管理项目，以及如何处理分页、验证码、JS 渲染等常见的技术难题。此外，我还希望书中能够讲解一些关于爬虫“道德”和“法律”方面的内容，让我明白在进行爬虫开发时，应该遵循哪些规范，避免触碰法律的红线。这本书给我的感觉是，它不仅能教会我技术，还能引导我形成良好的开发习惯和职业素养。

评分☆☆☆☆☆

服务到位，速度快，书的质量不错

评分☆☆☆☆☆

早就关注作者的blog，学习了不少，书里有不少作者总结的技术，很实用..

评分☆☆☆☆☆

书挺好的，正版

评分☆☆☆☆☆

因为从北京过来 两天的物流速度还是很快的了 书没有任何损坏 书的内容挺好的 刚看了第一章 不玩虚的 一上来就直接把配环境的问题说的清清楚楚

评分☆☆☆☆☆

因为从北京过来 两天的物流速度还是很快的了 书没有任何损坏 书的内容挺好的 刚看了第一章 不玩虚的 一上来就直接把配环境的问题说的清清楚楚

评分☆☆☆☆☆

这本书应该活动买，有点亏了，但是内容丰满，值得一看

评分☆☆☆☆☆

朋友推荐才卖的，买了后还没看，不过朋友说挺好的，好的话再来评下

评分☆☆☆☆☆

朋友推荐才卖的，买了后还没看，不过朋友说挺好的，好的话再来评下

评分☆☆☆☆☆

送货快书的内容也还行