答案：HTML数据采集需模拟真实用户行为以绕过反爬机制。通过设置浏览器User-Agent、添加完整请求头、使用会话保持状态实现基础伪装；控制请求频率并引入随机延迟与代理IP轮换避免IP封禁；针对JavaScript渲染内容，采用Selenium或分析XHR接口获取动态数据；对验证码和行为检测，结合打码平台与人类操作模拟降低风险；全程遵守robots.txt与网站规则，确保合法合规采集。
面对网站反爬机制，HTML数据采集需要在技术上兼顾效率与隐蔽性。核心在于模拟真实用户行为，降低被识别为爬虫的风险。重点不是对抗系统，而是合理适配目标站点的访问规则。
伪装请求头与用户行为
大多数基础反爬通过HTTP请求特征识别爬虫。使用默认User-Agent（如Python-requests）极易被拦截。
建议做法：- 设置常见浏览器的User-Agent，例如Chrome或Safari的最新版本字符串
- 添加Referer、Accept-Language、Accept-Encoding等头部字段，模仿真实浏览环境
- 使用会话（Session）保持Cookie，维持登录状态和行为连贯性
控制请求频率与IP轮换
高频请求是触发封禁的主要原因。即使请求头正常，短时间大量访问也会被限流或拉黑IP。
可行策略：- 引入随机延迟（time.sleep(random.uniform(1, 3))），避免固定节奏
- 使用代理IP池轮换出口IP，尤其适用于大规模采集
- 优先选择数据中心代理或住宅代理，提高通过率
处理JavaScript渲染内容
部分网页数据由前端JS动态加载，静态HTML中无法获取。传统requests.get()只能抓取初始HTML。
立即学习“前端免费学习笔记（深入）”；
解决方案：- 采用Selenium或Playwright驱动真实浏览器，等待页面加载完成后再提取数据
- 分析XHR请求，直接调用API接口获取JSON数据，减少资源消耗
- 结合DevTools Network面板，定位关键资源请求并模拟
应对验证码与行为检测
高级反爬如滑块验证、鼠标轨迹分析、Canvas指纹等，依赖客户端运行时行为判断。
应对方式：- 避免触发风控阈值，控制采集规模和速度
- 使用打码平台或OCR工具处理简单验证码（需权衡成本）
- 在自动化工具中模拟人类操作：缓慢移动、随机点击、轻微拖拽偏差
基本上就这些。合规使用是前提，尊重robots.txt和网站声明，避免对服务器造成负担。技术手段再强，也不应越过法律和道德边界。
