用 hash 而不是原始字符串去重，因 URL 等字段存在空格、换行、编码差异等问题，直接比较易漏判；hash 可归一化处理，提升稳定性，但需注意碰撞风险及内存管理、标准化、去重时机和分布式适配。
为什么用 hash 而不是直接存原始字符串去重？
爬虫抓取的 URL、标题、正文等字段常含空格、换行、编码差异（如 %20 和空格），直接字符串比较容易漏判重复。用 hash 统一归一化后再比对，更稳定。
但注意：hash 不是万能的——不同内容可能产生相同哈希值（碰撞），不过在单机爬虫场景下，用 hashlib.md5() 或 hashlib.sha256() 几乎可忽略该风险。
set 存哈希值时内存爆了怎么办？
高频爬虫（如每秒百条）持续往 set 里加 bytes 哈希值，几小时后可能吃光几 GB 内存。这不是算法问题，是数据生命周期没管好。
实操建议：
- 按时间窗口滚动清理：比如只保留最近 24 小时的哈希值，用
deque+ 时间戳配合set实现 - 改用布隆过滤器（
bloomfilter库）：内存占用低一个数量级，支持百万级去重，但有极小误判率（不漏判，可能把新数据当重复） - 落地到轻量数据库：如
sqlite的UNIQUE索引列存md5(url)，重启不丢，还支持查重历史
URL 去重必须先标准化再哈希
同一个页面可能有无数种 URL 表达：https://a.com/?x=1&y=2、https://a.com/?y=2&x=1、https://A.COM/x/，直接哈希会当成不同项。
标准化步骤不能少：
from urllib.parse import urlparse, urlunparse, parse_qs, urlencodedef normalize_url(url): parsed = urlparse(url.lower()) # 协议和域名转小写 query_dict = parse_qs(parsed.query) # 自动去重参数顺序、合并同名参数 normalized_query = urlencode(query_dict, doseq=True) return urlunparse(( parsed.scheme, parsed.netloc, parsed.path.rstrip('/'), # 去除末尾斜杠 '', '', normalized_query ))
之后再对 normalize_url(url) 的结果做 hashlib.md5(...).hexdigest()。
立即学习“Python免费学习笔记（深入）”；
去重逻辑放在哪一层最稳妥？
别在解析完就立刻去重，也别拖到入库前才做——中间环节（如管道、中间件、存储前钩子）都可能出错或跳过。
推荐位置：
- Requests 发起前：检查待请求 URL 是否已爬过（适合广度优先）
- Response 解析后、提取 item 前：对响应体做
hashlib.sha256(response.body).hexdigest()，防镜像站/缓存页重复 - Item Pipeline 最末端：用
item['url_hash'] = hashlib.md5(item['url'].encode()).hexdigest()，再查库或集合
真正难的是多进程/分布式场景——这时单机 set 失效，得换 Redis 的 SET 或 BF.ADD，且哈希值必须带业务前缀避免冲突。
