Python爬虫怎么快速入门_requests基础使用教程【教程】-Python教程-PHP中文网

Python爬虫怎么快速入门_requests基础使用教程【教程】

舞夢輝影

发布： 2025-12-20 21:12:07

原创

113人浏览过

requests是Python爬虫最该先掌握的库，因其简单稳定且能满足90%静态页面抓取需求；包含安装与基础请求、带参与请求头、响应数据处理、异常处理与会话保持四大核心用法。

python爬虫怎么快速入门_requests基础使用教程【教程】

想用 Python 写爬虫，requests 是最该先掌握的库——它简单、稳定、功能够用，90% 的静态页面抓取任务靠它就能搞定。

一、安装和基础请求：三行代码拿下网页

先确保已安装 requests（没装就运行 pip install requests）。然后：

用 requests.get(url) 发起 GET 请求，返回一个 Response 对象
用 .text 获取字符串内容（适合 HTML、JSON 文本）
用 .content 获取原始字节（适合图片、PDF 等二进制数据）

示例：

python基础教程至60课_python入门基础资料 word版

python基础教程至60课，这篇教程开始就为大家介绍了，为什么学习python，python有什么优点等，确实让你想快点学习python。为什么用Python作为编程入门语言？原因很简单。每种语言都会有它的支持者和反对者。去Google一下“why python”，你会得到很多结果，诸如应用范围广泛、开源、社区活跃、丰富的库、跨平台等等等等，也可能找到不少对它的批评，格式死板、效率低、国内用的人很少之类。不过这些优缺点的权衡都是程序员们的烦恼。作为一个想要学点

查看详情

import requests
res = requests.get('https://httpbin.org/get')
print(res.status_code)  # 看状态码，200 表示成功
print(res.text)         # 打印响应正文

登录后复制

二、带参数和请求头：让请求更像真人

很多网站会检查 User-Agent，直接请求可能被拒绝或返回 403。加上 headers 就能绕过基础反爬：

立即学习“Python免费学习笔记（深入）”；

URL 参数用 params=字典 自动拼接（比手动拼 '?a=1&b=2' 更安全）
请求头用 headers=字典，常见字段如 'User-Agent'、'Referer'

示例：

url = 'https://httpbin.org/get'
params = {'page': 1, 'limit': 10}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
res = requests.get(url, params=params, headers=headers)

登录后复制

三、处理响应数据：提取关键信息不靠猜

拿到响应后，别急着正则或手撕 HTML。先判断类型再选工具：

如果返回的是 JSON（比如接口），直接用 res.json() 解析成 Python 字典
如果是 HTML，推荐后续配合 BeautifulSoup 或 lxml 解析结构化数据
注意检查 res.encoding，中文乱码时可手动设为 'utf-8' 或 'gbk'

示例（解析 JSON 接口）：

res = requests.get('https://httpbin.org/json')
data = res.json()  # 自动解析，不用 json.loads(res.text)
print(data['slideshow']['title'])  # 直接按键取值

登录后复制

四、异常处理和会话保持：让爬虫稳一点

真实环境中网络不稳定、目标站改版、超时都是常态，加一层防护很必要：

用 try-except 捕获 requests.exceptions.RequestException（含超时、连接失败等）
设置 timeout=(连接超时, 读取超时)，避免卡死，比如 timeout=(3, 10)
需要登录或保持 Cookie 时，用 requests.Session() 替代 get/post，自动管理会话

示例（带超时和会话）：

session = requests.Session()
session.headers.update({'User-Agent': 'xxx'})
<p>try:
res = session.get('<a href="https://www.php.cn/link/d9976f1c2c0c972d1cee0c3647cbd194">https://www.php.cn/link/d9976f1c2c0c972d1cee0c3647cbd194</a>', timeout=(3, 10))
res.raise_for_status()  # 非2xx状态码抛异常
except requests.exceptions.RequestException as e:
print("请求失败：", e)

登录后复制

以上就是Python爬虫怎么快速入门_requests基础使用教程【教程】的详细内容，更多请关注php中文网其它相关文章！