本文介绍如何使用Python抓取TfL（伦敦交通局）自行车共享计划的CSV数据文件，这些数据通过JavaScript动态加载。我们将展示如何通过分析浏览器的开发者工具来定位API请求，并使用BeautifulSoup解析XML响应，最终提取所需的CSV文件链接。本文提供详细的代码示例，帮助读者理解和实践动态网页数据的抓取方法。
理解动态加载与传统抓取的局限性
传统的网页抓取方法，如使用requests和BeautifulSoup直接请求网页HTML内容，并解析其中的链接，在面对动态加载数据时会失效。这是因为网页的初始HTML可能不包含所有的数据，数据通常通过JavaScript在浏览器中动态加载。
例如，在TfL自行车数据网站（https://www.php.cn/link/2dd413603aecf86981529a0cb6e4f35e and Conditions链接，无法获取实际的CSV文件链接。
定位API请求：使用开发者工具
要解决这个问题，我们需要找到加载数据的API请求。现代浏览器都提供了强大的开发者工具，可以用来分析网络请求。
- 打开浏览器的开发者工具（通常按F12键）。
- 切换到“Network”标签页。
- 刷新网页。
- 在“Network”标签页中，筛选“XHR”或“Fetch/XHR”类型的请求，寻找包含CSV文件列表的请求。
在这个例子中，通过分析可以发现，数据是通过请求https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500这个URL获取的，返回的是一个XML文件，包含了所有CSV文件的信息。
使用BeautifulSoup解析XML响应
找到API请求后，我们可以使用requests库获取XML响应，并使用BeautifulSoup解析它，提取CSV文件的URL。
以下是示例代码：
import requests
from bs4 import BeautifulSoup
url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'
response = requests.get(url)
response.raise_for_status() # 检查请求是否成功
soup = BeautifulSoup(response.text, 'xml') # 指定解析器为xml
for c in soup.find_all('Key'): # 使用find_all方法
if c.text.startswith('usage-stats') and c.text.endswith('.csv'):
print('https://cycling.data.tfl.gov.uk/'+c.text)代码解释：
- 导入库： 导入requests用于发送HTTP请求，BeautifulSoup用于解析XML。
- 发送请求： 使用requests.get()方法获取XML数据。
- 检查状态码： 使用response.raise_for_status()确保请求成功，如果状态码不是200，会抛出异常。
- 创建BeautifulSoup对象： 使用BeautifulSoup(response.text, 'xml')创建一个BeautifulSoup对象，并指定解析器为xml。
-
查找所有
标签： 使用soup.find_all('Key')查找所有包含文件名的标签。注意这里需要使用find_all而不是select。 -
过滤和打印URL： 遍历所有
标签，检查文件名是否以usage-stats开头，以.csv结尾，如果是，则拼接完整的URL并打印。
注意事项与总结
- 状态码检查： 在发送请求后，务必检查response.status_code是否为200，以确保请求成功。如果状态码不是200，可能需要处理错误情况。
- 反爬虫机制： 网站可能会采取反爬虫措施，如限制请求频率、使用验证码等。需要根据具体情况采取相应的应对策略，例如设置请求头、使用代理IP等。
- XML解析器： BeautifulSoup 可以使用不同的解析器。 在解析XML时，明确指定解析器为 xml 可以提高解析的准确性。
- 动态加载数据： 对于动态加载数据的网页，需要通过分析API请求来获取数据，而不是直接抓取HTML。
通过以上步骤，我们可以成功抓取TfL自行车数据网站上的CSV文件链接，为后续的数据分析工作打下基础。掌握这种动态网页数据的抓取方法，可以帮助我们从更多复杂的网站获取所需的数据。
