Python并发爬虫应依场景选异步协程或多线程：asyncio+aiohttp适合高并发轻量请求，需用Semaphore控并发、优化DNS；threading+requests适合中等规模带反爬任务，需独立Session和请求间隔；须配节流、重试、异常隔离与动态调速，并解耦解析存储以保吞吐。
Python并发爬虫能显著提升抓取效率，核心在于合理利用I/O等待时间，避免单线程阻塞。关键不是盲目堆砌并发数，而是根据目标网站响应特性、自身网络带宽和服务器承受力，选择匹配的并发模型与控制策略。
异步协程（asyncio + aiohttp）——高并发首选
适用于大量轻量级HTTP请求、目标站点响应快且无严格反爬限制的场景。协程切换开销远低于线程，单机轻松支撑数千并发连接。
- 用 aiohttp 替代 requests，支持异步HTTP客户端
- 所有I/O操作（如 session.get()）必须用 await，不能混用同步库
- 控制并发量：用 asyncio.Semaphore 限制同时发起的请求数，例如只允许50个并发，防止被封或压垮对方服务
- 注意DNS解析可能成为瓶颈，可配合 aiohttp.TCPConnector(limit_per_host=30) 优化连接复用
多线程（threading + requests）——简单稳定易调试
适合中等规模任务、目标站点有基础反爬（如需Session维持、Cookie更新）、或代码中存在少量同步逻辑难以改造成async的情况。
- 线程数建议设为 CPU核数 × 2 到 5 之间，通常 10–30 线程较稳妥
- 每个线程应创建独立的 requests.Session() 实例，避免共享会话引发状态混乱
- 配合 concurrent.futures.ThreadPoolExecutor 管理线程池，用 submit() 提交任务，as_completed() 获取结果
- 务必设置请求间隔（time.sleep 或随机延迟），尤其对同一域名，避免触发频率限制
请求节流与错误恢复——并发不等于乱发
再高效的并发模型，若缺乏节流和容错，反而导致失败率飙升甚至IP被封。
立即学习“Python免费学习笔记（深入）”；
- 按域名做请求间隔：使用 functools.lru_cache 缓存域名上次请求时间，每次请求前检查是否满足最小间隔
- 自动重试机制：对超时、5xx、部分4xx错误，用 tenacity 库实现指数退避重试（如最多3次，间隔1s、2s、4s）
- 异常隔离：单个请求失败不中断整个并发流程，记录日志后继续处理其余URL
- 动态调整并发：监控成功率/响应时间，连续失败时自动降低并发数，恢复后再缓慢回升
数据提取与存储解耦——避免IO拖慢整体吞吐
解析HTML、写入数据库或文件是耗时操作，若在并发请求线程/协程中直接执行，会严重拉低吞吐量。
- 请求层只负责获取原始响应（text或bytes），通过队列（queue.Queue 或 asyncio.Queue）交给独立的解析线程/任务
- 解析结果再送入另一个队列，由专门的存储协程批量写入CSV、SQLite或发送到Kafka
- 使用 lxml 替代 BeautifulSoup 提升解析速度；对JSON接口优先用 response.json() 而非正则或XML解析
