网页抓取中的HTML结构不一致问题
在进行网页数据抓取时，开发者常会遇到同一url在不同时间或不同请求方式下返回不同html内容的情况。这通常是由于现代网站的复杂性所致，例如：
- 客户端渲染 (Client-Side Rendering, CSR)：页面内容由JavaScript在浏览器端动态生成，requests库获取的原始HTML可能不包含最终呈现的数据。
- 内容交付网络 (CDN) 或负载均衡：请求可能被路由到不同的服务器，这些服务器可能返回略有差异的HTML版本。
- A/B 测试或个性化内容：网站根据用户特征或测试目的，向不同用户展示不同布局或内容。
- 内部API调用：许多网站通过内部API获取数据，然后使用JavaScript将其注入到DOM中。直接请求原始URL可能只返回一个加载器页面或一个包含API调用脚本的骨架HTML。
在上述案例中，用户观察到对IBM文档页面的请求有时返回预期的结构化HTML（包含表格数据），有时却返回一个包含大量JavaScript变量和错误提示（如error.sorryText）的非预期HTML。这强烈暗示了网站可能通过API动态加载主要内容，而直接的requests.get有时未能触发或捕获到正确的API响应。
解决方案：识别并利用内部API
解决这类问题的关键在于模拟浏览器行为，并识别网站用于获取实际内容的内部API。通常，这需要借助浏览器的开发者工具（F12）来检查网络请求。
核心思路：
- 模拟浏览器行为：设置User-Agent等HTTP请求头，让服务器认为我们是正常的浏览器访问。
- 异步请求：对于现代网站，异步HTTP客户端可以更高效地处理多个请求，尤其是在需要进行多次API调用以获取完整内容时。
- API发现与利用：通过分析初始HTML内容，找到指向实际数据API的线索，然后直接调用该API获取结构化数据。
示例代码详解
以下是针对IBM文档页面抓取问题的解决方案，它采用了httpx进行异步HTTP请求，trio作为异步运行时，并通过正则表达式从初始页面中提取API路径，最终使用pandas直接解析表格。
立即学习“前端免费学习笔记（深入）”；
import httpx
import trio
import re
import pandas as pd
# 模拟浏览器行为，设置User-Agent头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/113.0'
}
async def main():
# 使用httpx.AsyncClient创建异步HTTP客户端，并设置base_url和headers
async with httpx.AsyncClient(headers=headers, base_url='https://www.ibm.com/docs') as client:
# 第一次请求：访问原始URL，获取包含API线索的HTML
# 注意：这里的params 'topic': 't-accessdateval' 对应了原始URL的查询参数
params = {
'topic': 't-accessdateval'
}
r = await client.get('en/imdm/12.0', params=params)
# 从响应文本中通过正则表达式提取内部API的路径
# 观察发现，在非预期HTML中，有一个 "oldUrl" 字段指向了实际内容的API路径
match = re.search(r'"oldUrl":"(.*?)"', r.text)
if not match:
print("未能找到 oldUrl，可能页面结构已改变或请求失败。")
return
# 构建新的API URL
nurl = "api/v1/content/" + match.group(1)
# 第二次请求：访问内部API，获取包含实际数据的JSON或HTML片段
# 'parsebody': 'true' 和 'lang': 'en' 是API所需的参数，确保返回完整且英文的内容
params = {
'parsebody': 'true',
'lang': 'en'
}
r = await client.get(nurl, params=params)
# 使用pandas的read_html功能直接从HTML内容中解析表格
# attrs={'class': 'defaultstyle'} 用于指定要解析的表格的CSS类名，提高准确性
try:
df = pd.read_html(r.content, attrs={'class': 'defaultstyle'})[0]
print(df)
except ValueError as e:
print(f"未能从响应中解析表格，错误信息: {e}")
print("响应内容片段:", r.text[:500]) # 打印部分响应内容以便调试
if __name__ == "__main__":
# 使用trio运行异步主函数
trio.run(main)代码解析要点：
- httpx与trio：httpx是一个现代的HTTP客户端，支持同步和异步请求。在这里，我们使用其异步模式，结合trio这个异步I/O框架，能够更高效地处理网络请求，尤其是在需要并发处理多个URL时。
- User-Agent：设置User-Agent头部是模拟浏览器行为的关键一步，可以有效避免某些网站的反爬虫机制。
-
两次请求策略：
- 第一次请求：目标是获取包含实际内容API路径的初始页面。即使这个页面不直接包含数据，它也可能提供线索。在这个案例中，"oldUrl":"(.*?)" 是一个重要的指示器，它指向了内容API的实际路径。
- 第二次请求：使用从第一次请求中提取的API路径，构造新的URL并发送请求。这次请求的目标是获取实际的结构化数据。parsebody=true和lang=en是该API所需的特定参数，用于确保返回完整且格式正确的内容。
- re.search：利用正则表达式从HTML文本中精确提取所需信息，这里是oldUrl的值。
-
pandas.read_html：这是一个非常强大的功能，可以直接从HTML字符串或文件路径中识别并解析
标签，将其转换为DataFrame对象。通过attrs={'class': 'defaultstyle'}参数，可以指定只解析具有特定CSS类名的表格，提高解析的准确性。
注意事项与最佳实践
- 开发者工具是你的朋友：当遇到抓取困难时，始终优先使用浏览器的开发者工具（F12）来检查网络请求（Network Tab）。观察页面加载过程中发出的XHR/Fetch请求，通常能发现数据API。
- 请求头的重要性：除了User-Agent，有时还需要模拟其他请求头，如Referer、Accept-Language、Cookie等，以更真实地模拟浏览器行为。
- 错误处理：在实际项目中，需要增加更健壮的错误处理机制，例如对re.search未找到匹配项、pd.read_html解析失败等情况进行捕获和处理。
- 网站变化：网站结构和API可能会随时间改变。定期检查你的爬虫代码，并根据网站更新进行调整。
- 遵守Robots协议：在进行网页抓取时，务必遵守网站的robots.txt文件规定，并尊重网站的使用条款。
- 异步编程的优势：对于需要处理大量URL或进行多次API调用的场景，异步HTTP客户端（如httpx与asyncio/trio）能够显著提高抓取效率。
总结
面对网页抓取中HTML结构不一致的问题，简单的requests + BeautifulSoup组合可能力不从心。通过深入理解现代网站的工作机制，特别是其对API的依赖，我们可以采用更高级的策略。本教程展示了如何利用httpx进行异步请求，通过解析初始页面发现内部API，并直接调用这些API来获取结构化数据，最终借助pandas.read_html高效地提取表格内容。这种方法不仅解决了HTML结构不一致的问题，也为处理更复杂的动态网站提供了有力的工具。
