Python动态网页爬取方法_selenium与requests结合【指导】

动态网页爬取需结合Selenium与requests：Selenium模拟浏览器执行JS并获取渲染后HTML或提取API参数，requests高效调用接口；登录等交互用Selenium，后续数据请求交由requests，并注意Cookie、Headers一致性及反爬规避。

动态网页爬取不能只靠 requests，因为很多内容由 JavaScript 渲染，服务器返回的 HTML 源码里压根没有目标数据。这时候得让浏览器“真打开页面、执行 JS、等加载完”，再把渲染后的 HTML 或接口数据拿回来——Selenium 负责模拟真实浏览行为，requests 负责高效获取接口或静态资源，二者配合才是实用解法。

先用 Selenium 获取渲染后的真实 HTML

适用于页面结构依赖 JS 初始化（比如点击加载、滚动触底、Vue/React 渲染的列表），且你只需要最终 DOM 内容。

• 启动 ChromeDriver（推荐无头模式： options.add_argument('--headless=new')）
• 用 driver.get(url) 打开页面，再用 WebDriverWait 等待关键元素出现（别用 time.sleep）
• 调用 driver.page_source 获取完整渲染后的 HTML，之后可交给 BeautifulSoup 解析
• 示例：等 class="item-list" 的 div 加载完成再取源码

用 Selenium 提取请求参数，再用 requests 发起真实 API 调用

很多动态页背后是 Ajax 接口（如 XHR/Fetch），Selenium 可以帮你“看懂”这些请求怎么发的，而 requests 更快更轻量，适合批量抓取。

• 在 Selenium 中打开开发者工具（Network → XHR），手动操作触发目标数据加载，记下请求 URL、Headers（尤其是 Cookie、User-Agent、X-Requested-With）、Query 参数和 POST Body
• 用 driver.get_cookie('name') 或 driver.execute_script("return document.cookie") 提取登录态 Cookie
• 用 requests.Session() 复用会话，设置相同 headers 和 cookies，直接调用接口获取 JSON 数据
• 优势：绕过浏览器渲染，速度快；适合翻页、分页拉取大量数据

混合策略：Selenium 做登录/跳转，requests 接管后续所有接口

登录态往往需要交互（验证码、滑块、OAuth 跳转），Selenium 更可靠；但登录成功后，几乎所有业务数据都走接口，这时切回 requests 更稳。

Blogcast™

BlogcastTM是一个文本转语音的工具，允许用户创建播客、视频、电子学习课程的音频和音频书籍，而无需录制。

63

查看详情

立即学习“Python免费学习笔记（深入）”；

• 用 Selenium 完成账号密码输入、点击登录、等待跳转到首页或用户中心
• 提取当前 driver 的 cookies 和 headers（注意保留 Authorization token 或 sessionid）
• 把 cookies 转为 requests 可用格式：requests.utils.dict_from_cookiejar(driver.get_cookies())
• 后续所有数据请求全部交给 requests，不用再开浏览器，内存和时间成本大幅下降

注意事项与避坑点

结合使用不是简单拼凑，几个关键细节决定成败：

• Cookie 时效性：Selenium 获取的 cookie 可能含 HttpOnly，requests 无法自动携带，需显式传入；部分站点还校验 User-Agent 或 Referer，headers 必须一致
• 反爬识别：Selenium 默认特征明显（如 webdriver 属性），需加配置隐藏：options.add_experimental_option("excludeSwitches", ["enable-automation"]) 并禁用 useAutomationExtension
• 请求频率控制：requests 接口调用比浏览器快得多，务必加 time.sleep 或使用 ratelimit 库，避免被封 IP
• 异常兜底：Selenium 可能超时或崩溃，requests 可能返回 401/403，建议用 try-except 包裹关键步骤，并设计重试逻辑

以上就是Python动态网页爬取方法_selenium与requests结合【指导】的详细内容，更多请关注php中文网其它相关文章！