在开发与外部 API 交互的 Python 应用时，进行单元测试或集成测试是至关重要的。然而，直接调用外部 API 不仅会增加测试运行时间，还可能受网络状况、API 限制或数据变动的影响。此时，模拟（Mocking）外部 HTTP 请求成为一种标准实践。requests-mock 是一个功能强大且易于使用的库，专门用于拦截和模拟 requests 库发出的 HTTP 请求，使得测试过程更加稳定、快速和独立。
为什么需要模拟 requests.get().url？
在某些场景下，我们不仅关心 HTTP 请求是否成功，还可能需要从响应对象中获取请求的最终 URL（例如，在重定向之后）。在处理像分页 API 这样的动态 URL 时，程序会循环发送请求，每次请求的 URL 都会根据页码而变化。例如，以下 Python 函数 consuming_api_swapi_index_page 会不断请求 Star Wars API 的不同页面，直到遇到非 HTTPStatus.OK 的响应：
import requests
from http import HTTPStatus
def consuming_api_swapi_index_page(initial_page: int = 1):
"""Swapi index page."""
check = HTTPStatus.OK
results = []
current_page = initial_page # 使用一个独立变量进行迭代
while check == HTTPStatus.OK:
url = f'https://swapi.dev/api/people/?page={current_page}'
response = requests.get(url)
results.append(response.url) # 记录响应的URL
print(f"Requested: {url}, Received URL: {response.url}, Status: {response.status_code}")
check = response.status_code
current_page += 1
return results
# 对应的测试用例期望获取一系列特定的URL
def test_consuming_api_swapi_index_page_example() -> None:
expected_urls = [
'https://swapi.dev/api/people/?page=1',
'https://swapi.dev/api/people/?page=2',
# ... 省略中间部分 ...
'https://swapi.dev/api/people/?page=10',
]
# 实际运行时，这里需要模拟，否则会发起真实请求
# assert consuming_api_swapi_index_page() == expected_urls为了测试 consuming_api_swapi_index_page 函数的逻辑是否正确（特别是它是否按预期获取并记录了正确的 URL 序列，并在适当的时候停止），我们需要模拟 requests.get() 调用，使其返回预期的响应，并确保 response.url 属性的行为符合预期。
使用 requests-mock 进行模拟
requests-mock 库提供了一个上下文管理器 requests_mock.Mocker()，可以在其作用域内拦截 requests 库的所有 HTTP 请求。
首先，确保你已经安装了 requests-mock：
pip install requests-mock
1. 模拟单个 URL
最基本的模拟是针对一个固定的 URL：
import requests
import requests_mock
from http import HTTPStatus
def fetch_data(url):
response = requests.get(url)
if response.status_code == HTTPStatus.OK:
return response.json()
return None
def test_fetch_data():
with requests_mock.Mocker() as m:
m.get('http://example.com/api/data', json={'key': 'value'}, status_code=HTTPStatus.OK)
data = fetch_data('http://example.com/api/data')
assert data == {'key': 'value'}2. 模拟动态 URL 与 response.url
对于像 https://swapi.dev/api/people/?page=1 这种带有查询参数的动态 URL，我们可以使用正则表达式来匹配一系列相似的 URL。requests-mock 会自动将 response.url 设置为实际被请求并匹配到的 URL，这正是我们所需要的。
核心思路：
- 使用正则表达式匹配所有预期会成功（状态码为 HTTPStatus.OK）的 URL。
- 模拟一个或多个“终止”请求，使其返回非 HTTPStatus.OK 的状态码（如 HTTPStatus.NOT_FOUND 或 HTTPStatus.BAD_REQUEST），以确保循环能够正确结束。
以下是针对 consuming_api_swapi_index_page 函数的测试示例：
import requests
import requests_mock
from http import HTTPStatus
import re
# 假设 consuming_api_swapi_index_page 函数已定义如上
def test_consuming_api_swapi_index_page_with_mock() -> None:
"""使用 requests-mock 测试分页API消费函数。"""
expected_urls = [
'https://swapi.dev/api/people/?page=1',
'https://swapi.dev/api/people/?page=2',
'https://swapi.dev/api/people/?page=3',
'https://swapi.dev/api/people/?page=4',
'https://swapi.dev/api/people/?page=5',
'https://swapi.dev/api/people/?page=6',
'https://swapi.dev/api/people/?page=7',
'https://swapi.dev/api/people/?page=8',
'https://swapi.dev/api/people/?page=9',
'https://swapi.dev/api/people/?page=10',
]
with requests_mock.Mocker() as m:
# 1. 模拟成功获取的页面 (页码 1-10)
# re.compile 用于创建正则表达式对象
# r"https://swapi\.dev/api/people/\?page=(?:[1-9]|10)$" 精确匹配页码为1到10的URL
# (?:[1-9]|10) 是一个非捕获组，匹配单个数字（1-9）或数字10
# $ 确保匹配字符串的结束，防止匹配 page=100 等
m.get(re.compile(r"https://swapi\.dev/api/people/\?page=(?:[1-9]|10)$"), status_code=HTTPStatus.OK)
# 2. 模拟终止循环的页面 (例如，第11页)
# 当函数请求第11页时，返回 404 Not Found，从而终止 while 循环
m.get('https://swapi.dev/api/people/?page=11', status_code=HTTPStatus.NOT_FOUND)
# 调用被测试的函数
actual_urls = consuming_api_swapi_index_page()
# 断言结果是否与预期相符
assert actual_urls == expected_urls在这个例子中，requests-mock 的 m.get() 方法被调用了两次：一次使用正则表达式来匹配所有成功的请求（页码 1-10），另一次则精确匹配第 11 页，并返回 HTTPStatus.NOT_FOUND。当 consuming_api_swapi_index_page 函数内部发起 requests.get() 调用时，requests-mock 会根据 URL 匹配规则返回相应的模拟响应。由于 requests-mock 自动将 response.url 设置为被请求的 URL，因此 results.append(response.url) 将准确地捕获到每次迭代中请求的 URL。
3. 处理更复杂的序列响应（自定义匹配器）
如果你的模拟需求更加复杂，例如响应内容不仅依赖于 URL，还依赖于请求的顺序、请求头或其他动态逻辑，你可以使用 requests-mock 的自定义匹配器。自定义匹配器是一个可调用对象，它接收 request 对象作为参数，并返回一个布尔值指示是否匹配。
import requests
import requests_mock
from http import HTTPStatus
# 假设需要模拟不同页码返回不同的JSON内容
def custom_matcher_for_pages(request):
if request.url.startswith('https://api.example.com/data?page='):
page_num_str = request.url.split('page=')[-1]
try:
page_num = int(page_num_str)
if page_num == 1:
request.status_code = HTTPStatus.OK
request.json = {'items': ['item1', 'item2'], 'next_page': 2}
return True
elif page_num == 2:
request.status_code = HTTPStatus. 
