Scrapy是异步爬虫框架，核心由引擎协调调度器、下载器、Spider、Pipeline和中间件；项目用scrapy startproject初始化，genspider生成爬虫；动态页面需Selenium混合方案；数据通过Item定义、ItemLoader清洗，存入MySQL需连接池与去重；增量爬取推荐Redis缓存ID实现跨机去重。
Scrapy框架核心结构与项目初始化
Scrapy不是简单发请求的工具，而是一个完整的异步爬虫框架。它通过引擎（Engine）协调调度器（Scheduler）、下载器（Downloader）、爬虫（Spider）、管道（Pipeline）和中间件（Middleware）协同工作。新建项目用scrapy startproject myspider，进入目录后，scrapy genspider example example.com生成基础爬虫文件。注意：默认生成的start_urls仅适用于静态起始页；若需登录或带参跳转，应重写start_requests()方法并手动构造Request对象。
动态页面与反爬应对：Selenium+Scrapy混合方案
面对JavaScript渲染、滚动加载或行为验证的站点，纯Scrapy无法获取完整HTML。此时可在Downloader Middleware中集成Selenium：安装scrapy-selenium或自定义中间件，用ChromeDriver加载页面并返回渲染后源码。关键点有三：控制浏览器复用（避免频繁启停）、设置等待策略（如WebDriverWait等待特定元素出现）、及时关闭页面句柄防内存泄漏。不建议全站走Selenium——只对关键AJAX接口或首屏JS内容启用，其余仍交由Scrapy原生下载器处理，兼顾效率与稳定性。
数据清洗与结构化存储到MySQL
Item类定义字段是Scrapy数据流的“契约”。在items.py中声明字段后，Spider中用ItemLoader加载数据，配合MapCompose链式处理（如去空格、去标签、转数字）。存入MySQL前，推荐使用SQLAlchemy或pymysql连接池管理连接。在Pipeline中实现process_item()：检查字段完整性→格式标准化→执行INSERT ON DUPLICATE KEY UPDATE（防重复插入）。注意设置ITEM_PIPELINES优先级，清洗类Pipeline应在存储类之前运行。
增量爬取与去重机制实战
避免重复抓取老数据，关键是持久化记录已爬URL或业务主键。Scrapy自带RFPDupeFilter基于请求指纹去重，但默认仅对Request URL+body+method做哈希，不支持按业务逻辑（如文章ID）过滤。解决方案有两种：一是在DUPEFILTER_CLASS中继承BaseDupeFilter，改写request_fingerprint()提取ID生成指纹；二是用Redis缓存已处理ID（如redis-py的sismember），每次解析前查缓存，命中则丢弃item。后者更灵活，支持跨爬虫、跨机器去重，且可结合TTL自动清理过期记录。
立即学习“Python免费学习笔记（深入）”；
