0

0

Python怎么发送HTTP请求_Python HTTP请求发送实践指南

裘德小鎮的故事

裘德小鎮的故事

发布时间:2025-09-12 11:38:01

|

990人浏览过

|

来源于php中文网

原创

Python发送HTTP请求最推荐使用requests库,它封装了GET、POST、认证、会话管理等操作,API简洁易用。首先安装:pip install requests。发送GET请求获取数据:import requests; response = requests.get('https://api.github.com/events'); print(response.status_code, response.json()[:3])。发送POST请求提交数据:requests.post('https://httpbin.org/post', json={'name': '张三', 'age': 30})。带参数的GET请求使用params:requests.get('https://api.github.com/search/repositories', params={'q': 'requests+language:python'})。需认证时可用auth=('user', 'passwd')进行基本认证。保持会话应使用Session对象:session = requests.Session(); session.get(login_url); session.get(protected_url)自动携带Cookie。高级功能包括文件上传:files = {'upload_file': open('example.txt', 'rb')}; requests.post(url, files=files)。自定义请求头:headers = {'User-Agent': 'MyApp'}; requests.get(url, headers=headers)。控制重定向:allow_redirects=False可禁用自动跳转。设置超时避免阻塞:timeout=(1, 3)。常见错误有ConnectionError、Timeout、HTTPError、SSLError和JSONDecodeError,应使用try-except捕获requests.exceptions.RequestException基类。调试时检查response.status_code、

python怎么发送http请求_python http请求发送实践指南

Python要发送HTTP请求,最常用也最推荐的方式是使用

requests
库。它以简洁的API封装了复杂的HTTP操作,让开发者能轻松处理各种请求类型,如GET、POST,并支持参数、头信息、文件上传、会话管理等功能。当然,Python标准库中的
urllib.request
模块也能完成任务,但在易用性和功能丰富性上,
requests
无疑是现代Python开发的优选。

Python发送HTTP请求的核心,其实就是与服务器进行数据交换。这听起来有点抽象,但本质上就是你的程序像浏览器一样,向某个网址发出一个“请求”,然后等待服务器给你一个“回应”。最常见的请求类型是GET和POST。GET请求通常用于获取数据,比如你访问一个网页;POST请求则用于提交数据,比如你填写表单并点击提交。

我个人在工作中,几乎离不开

requests
这个库。它真的把很多繁琐的细节都处理好了,让我能更专注于业务逻辑本身,而不是去纠结HTTP协议的底层实现。

如何使用Python发送基本的HTTP请求?

使用

requests
库发送HTTP请求非常直观。首先,你需要确保已经安装了它:
pip install requests

立即学习Python免费学习笔记(深入)”;

发送GET请求

这是最简单的请求类型,通常用于从服务器获取信息。

import requests

try:
    # 尝试获取一个公开的API数据
    response = requests.get('https://api.github.com/events')
    response.raise_for_status() # 如果状态码不是200,则抛出HTTPError异常

    print(f"状态码: {response.status_code}")
    print(f"响应头: {response.headers['Content-Type']}")
    # 打印前几个JSON对象,避免输出过长
    print("响应内容 (部分):")
    for item in response.json()[:3]:
        print(item.get('id'), item.get('type'))

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

这里我们向GitHub的公开API发送了一个GET请求。

response.raise_for_status()
是个好习惯,能帮你快速发现非2xx的HTTP状态码。
response.json()
则能方便地将JSON格式的响应体解析成Python字典或列表。

发送POST请求

POST请求通常用于向服务器提交数据,比如创建新资源或者发送表单数据。

import requests
import json

url = 'https://httpbin.org/post' # 一个测试POST请求的网站
payload = {'name': '张三', 'age': 30}
headers = {'Content-Type': 'application/json'} # 明确告诉服务器发送的是JSON数据

try:
    # 发送JSON数据
    response = requests.post(url, data=json.dumps(payload), headers=headers)
    response.raise_for_status()

    print(f"状态码: {response.status_code}")
    print("服务器响应:")
    print(response.json())

    # 也可以直接通过json参数发送字典,requests会自动处理序列化和Content-Type
    response_json_param = requests.post(url, json=payload)
    response_json_param.raise_for_status()
    print("\n使用json参数发送:")
    print(response_json_param.json())

except requests.exceptions.RequestException as e:
    print(f"POST请求失败: {e}")

在POST请求中,

data
参数可以接受字典、字节串或文件对象。如果发送的是JSON数据,直接使用
json
参数会更方便,
requests
会帮你设置好
Content-Type

处理查询参数

GET请求经常需要带上查询参数,

requests
params
参数就能优雅地处理。

import requests

url = 'https://api.github.com/search/repositories'
params = {'q': 'requests+language:python', 'sort': 'stars', 'order': 'desc'}

try:
    response = requests.get(url, params=params)
    response.raise_for_status()

    print(f"搜索Python requests库,星标最多的结果 (部分):")
    for repo in response.json()['items'][:2]:
        print(f"- {repo['full_name']} (Stars: {repo['stargazers_count']})")

except requests.exceptions.RequestException as e:
    print(f"带参数的GET请求失败: {e}")

requests
会自动将
params
字典中的键值对编码并附加到URL后面。

Python发送HTTP请求时如何处理认证和会话?

在实际开发中,很多API都需要认证才能访问,而且我们经常需要保持与服务器的会话(session),比如登录后保持登录状态。

requests
在这方面提供了非常强大的支持。

基本认证 (Basic Authentication)

对于一些简单的API,可能只需要用户名和密码进行基本认证。

import requests

# 假设有一个需要基本认证的API
url = 'https://httpbin.org/basic-auth/user/passwd'
auth_tuple = ('user', 'passwd') # 用户名和密码

try:
    response = requests.get(url, auth=auth_tuple)
    response.raise_for_status()

    print(f"基本认证状态码: {response.status_code}")
    print(f"认证结果: {response.json()}")

except requests.exceptions.RequestException as e:
    print(f"基本认证请求失败: {e}")

auth
参数接受一个元组
(username, password)
requests
会自动将其编码为Base64并添加到请求头中。

会话管理 (Session)

当你需要跨多个请求保持某些状态(如cookies、自定义请求头)时,使用

Session
对象是最佳实践。它能自动处理cookies,让你的请求看起来更像一个真实用户的连续操作。

import requests

# 创建一个Session对象
session = requests.Session()

# 模拟登录(假设登录成功后服务器会设置cookie)
login_url = 'https://httpbin.org/cookies/set/sessioncookie/12345'
session.get(login_url) # 这一步会设置一个cookie到session对象中

print(f"Session中当前的Cookie: {session.cookies.get('sessioncookie')}")

# 接下来,所有通过这个session对象发送的请求都会自动带上之前获取的cookie
protected_resource_url = 'https://httpbin.org/cookies'
response = session.get(protected_resource_url)
response.raise_for_status()

print(f"访问受保护资源时的Cookie: {response.json().get('cookies')}")

# 你也可以给session设置默认的请求头
session.headers.update({'User-Agent': 'MyCustomApp/1.0'})
response_with_custom_ua = session.get('https://httpbin.org/headers')
print(f"使用自定义User-Agent: {response_with_custom_ua.json().get('headers').get('User-Agent')}")

session.close() # 使用完毕后记得关闭session,释放资源

Session
对象就像一个持久化的请求上下文,它会为你维护Cookies,并且可以设置默认的请求头,这在爬虫或需要多次交互的API调用中特别有用。我个人习惯在处理复杂业务流程时,都先创建一个
Session
,这样代码会更整洁,逻辑也更清晰。

面对复杂的HTTP请求场景,Python有哪些高级用法?

除了基本的GET和POST,HTTP请求还有很多高级的玩法,比如文件上传、自定义请求头、处理重定向、设置代理等。

requests
库都提供了非常优雅的解决方案。

arXiv Xplorer
arXiv Xplorer

ArXiv 语义搜索引擎,帮您快速轻松的查找,保存和下载arXiv文章。

下载

文件上传

上传文件是常见的需求,

requests
通过
files
参数就能轻松搞定。

import requests

url = 'https://httpbin.org/post'
file_path = 'example.txt' # 假设有一个名为example.txt的文件

# 创建一个示例文件
with open(file_path, 'w') as f:
    f.write('这是一个测试文件内容。\n')
    f.write('用于Python requests的文件上传示例。')

try:
    with open(file_path, 'rb') as f: # 注意,文件需要以二进制模式打开
        files = {'upload_file': f} # 键是表单字段名,值是文件对象
        response = requests.post(url, files=files)
        response.raise_for_status()

        print(f"文件上传状态码: {response.status_code}")
        print("服务器响应 (文件部分):")
        print(response.json().get('files'))
        print(response.json().get('form')) # 如果有其他表单字段也会在这里

except requests.exceptions.RequestException as e:
    print(f"文件上传失败: {e}")
finally:
    import os
    if os.path.exists(file_path):
        os.remove(file_path) # 清理创建的测试文件

files
参数接受一个字典,键是表单中的字段名,值可以是文件对象、元组(文件名、文件内容、MIME类型、自定义头)等。

自定义请求头 (Headers)

有时候,我们需要自定义请求头来模拟浏览器行为、传递认证信息或指定内容类型。

import requests

url = 'https://httpbin.org/headers'
custom_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'X-My-Custom-Header': 'Python-Requests-Demo'
}

try:
    response = requests.get(url, headers=custom_headers)
    response.raise_for_status()

    print(f"自定义请求头状态码: {response.status_code}")
    print("服务器接收到的头信息:")
    print(response.json().get('headers'))

except requests.exceptions.RequestException as e:
    print(f"自定义请求头失败: {e}")

headers
参数接受一个字典,
requests
会将其合并到默认的请求头中。

处理重定向 (Redirects)

HTTP请求经常会遇到3xx状态码的重定向。

requests
默认会自动处理重定向,但你也可以控制它的行为。

import requests

# 一个会重定向的URL
redirect_url = 'http://httpbin.org/redirect/3' # 会重定向3次

try:
    # 默认情况下,requests会自动跟随重定向
    response_auto = requests.get(redirect_url)
    print(f"自动跟随重定向后的最终URL: {response_auto.url}")
    print(f"自动跟随重定向后的状态码: {response_auto.status_code}")
    print(f"重定向历史: {[r.url for r in response_auto.history]}")

    print("\n--- 不跟随重定向 ---")
    # 设置allow_redirects=False,requests就不会跟随重定向
    response_no_redirect = requests.get(redirect_url, allow_redirects=False)
    print(f"不跟随重定向时的URL: {response_no_redirect.url}")
    print(f"不跟随重定向时的状态码: {response_no_redirect.status_code}")
    print(f"不跟随重定向时的响应头: {response_no_redirect.headers.get('Location')}")

except requests.exceptions.RequestException as e:
    print(f"重定向请求失败: {e}")

response.history
属性可以让你查看重定向的路径。
allow_redirects=False
在某些场景下非常有用,比如你需要手动处理重定向逻辑,或者只是想获取重定向前的状态。

超时设置 (Timeouts)

网络请求可能会因为各种原因卡住,设置超时是一个非常重要的实践,避免程序无限等待。

import requests

# 一个会延迟响应的URL
delay_url = 'https://httpbin.org/delay/5' # 延迟5秒响应

try:
    # 设置1秒的连接超时和3秒的读取超时
    response = requests.get(delay_url, timeout=(1, 3))
    print(f"超时设置后的状态码: {response.status_code}")
except requests.exceptions.ConnectTimeout:
    print("连接超时!服务器在指定时间内未建立连接。")
except requests.exceptions.ReadTimeout:
    print("读取超时!服务器在指定时间内未发送数据。")
except requests.exceptions.RequestException as e:
    print(f"其他请求错误: {e}")

timeout
参数可以是一个浮点数(表示总超时),也可以是一个元组
(connect_timeout, read_timeout)
。我通常会根据实际情况设置一个合理的超时时间,避免因为网络问题导致程序阻塞。

Python HTTP请求中常见的错误和调试技巧有哪些?

在发送HTTP请求时,遇到错误是家常便饭。理解这些错误类型并掌握调试技巧,能大大提高开发效率。

常见的错误类型

  1. 连接错误 (ConnectionError): 这通常意味着你的程序无法连接到目标服务器。可能是URL写错了,服务器没开,或者你的网络有问题。比如
    requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))
  2. 超时错误 (Timeout): 请求在设定的时间内没有得到响应。分为
    ConnectTimeout
    (连接服务器超时)和
    ReadTimeout
    (连接成功但读取数据超时)。
  3. HTTP错误 (HTTPError): 服务器返回了非2xx的状态码(如404 Not Found, 500 Internal Server Error)。
    response.raise_for_status()
    会捕获这类错误并抛出异常。
  4. SSL/TLS错误 (SSLError): 当你访问HTTPS网站时,如果SSL证书有问题(比如自签名证书,或者证书过期),就会出现这类错误。
  5. JSON解析错误 (JSONDecodeError): 当你尝试使用
    response.json()
    解析响应体时,如果响应体不是有效的JSON格式,就会抛出这个错误。

调试技巧

  1. 异常捕获 (Try-Except): 始终使用

    try-except
    块来捕获
    requests.exceptions.RequestException
    ,这是所有
    requests
    库相关异常的基类。这能让你的程序更健壮。

    import requests
    
    try:
        response = requests.get('http://nonexistent-domain.com')
        response.raise_for_status()
    except requests.exceptions.ConnectionError as e:
        print(f"连接错误: {e}")
    except requests.exceptions.Timeout as e:
        print(f"请求超时: {e}")
    except requests.exceptions.HTTPError as e:
        print(f"HTTP错误: {e.response.status_code} - {e.response.text}")
    except requests.exceptions.RequestException as e:
        print(f"未知请求错误: {e}")
  2. 检查响应对象: 当请求返回时,

    response
    对象包含了大量有用的信息,可以帮助你诊断问题:

    • response.status_code
      : HTTP状态码,直接告诉你请求是否成功。
    • response.url
      : 最终的请求URL,特别是处理重定向后。
    • response.headers
      : 服务器返回的响应头。
    • response.text
      : 响应体的文本内容,可以用来检查HTML、XML或非JSON的文本响应。
    • response.json()
      : 如果响应是JSON格式,直接解析成Python对象。如果解析失败,会抛出
      JSONDecodeError
    • response.content
      : 响应体的原始字节内容,适用于处理图片、文件等二进制数据。
    import requests
    
    response = requests.get('https://httpbin.org/status/404')
    print(f"状态码: {response.status_code}")
    print(f"URL: {response.url}")
    print(f"响应头: {response.headers}")
    print(f"响应文本: {response.text}")
  3. 打印请求详情: 有时候需要知道

    requests
    实际发送了什么。虽然
    requests
    没有直接提供打印请求的API,但你可以通过一些第三方库或者手动构造来查看。例如,使用
    curl_cffi
    或者
    http.client
    的调试模式可以更深入。对于
    requests
    本身,你可以在发送前打印
    url
    params
    data
    headers
    等参数。

  4. 日志记录 (Logging): 在生产环境中,使用Python的

    logging
    模块记录请求和响应的关键信息,对于后期排查问题非常有帮助。

    import logging
    import requests
    
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
    
    try:
        response = requests.get('https://api.github.com/nonexistent-endpoint')
        response.raise_for_status()
        logging.info(f"请求成功: {response.status_code}")
    except requests.exceptions.HTTPError as e:
        logging.error(f"HTTP错误: {e.response.status_code} - {e.response.text}")
    except requests.exceptions.RequestException as e:
        logging.error(f"请求失败: {e}")
  5. 禁用SSL验证 (Verify=False): 在开发或测试环境中,如果遇到SSL证书问题,可以暂时禁用SSL验证。但请注意,这会降低安全性,不建议在生产环境中使用。

    import requests
    requests.packages.urllib3.disable_warnings(requests.packages.urllib3.exceptions.InsecureRequestWarning) # 禁用警告
    
    try:
        response = requests.get('https://self-signed-cert.com', verify=False)
        # ...
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")

理解这些错误和调试技巧,能让你在面对各种网络请求问题时,不至于手足无措。通常,我都会从检查状态码和响应内容开始,如果还不行,再深入查看异常栈和请求参数。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

718

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

627

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

744

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1236

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

575

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

700

2023.08.11

php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

74

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号