
当使用 requests 获取含西里尔字母(如俄文)的旧式网页时,`response.text` 常因自动编码检测失败而乱码;应跳过 `text` 属性,直接用 `response.content` 结合 `cp1251`(windows-1251)解码,才能准确还原原始字符。
在爬取历史水利、气象或东欧/中亚地区老旧网站(如 http://www.cawater-info.net/karadarya/1991/veg1991.htm)时,常见响应头未声明 Content-Type 字符集,或错误声明为 ISO-8859-1,而实际内容采用 Windows-1251 编码(专为西里尔字母设计)。此时 requests 默认基于 HTTP 头或 HTML 标签推断编码(常误判为 ISO-8859-1 或 utf-8),导致 response.text 显示乱码。
✅ 正确做法是:忽略 response.text,改用 response.content(原始字节)手动解码:
import requests
url = "http://www.cawater-info.net/karadarya/1991/veg1991.htm"
response = requests.get(url)
# ❌ 错误:依赖自动编码(通常为 'ISO-8859-1' 或 None)
# print(response.text[:100])
# ✅ 正确:显式用 cp1251 解码原始字节
decoded_text = response.content.decode("cp1251")
print(decoded_text[:100])
# 输出:Оперативные данные по водозаборам бассейна реки Карадарья на период вегетации 199 ⚠️ 注意事项:
- 不要对 response.text 再次 .encode()(如 text.encode('utf-8')),这会将已错误解码的字符串二次编码,加剧乱码;
- cp1251 与 windows-1251 等价,Python 中二者可互换使用;
- 若页面混合多种编码(极少见),可先用 chardet.detect(response.content) 探测,但对确定为俄文旧站,cp1251 是最可靠首选;
- 如需后续解析 HTML,推荐将解码后字符串传入 BeautifulSoup(..., from_encoding="cp1251") 或直接使用 bs4 的 response.content + 指定解析器(如 lxml 自动处理更好)。
总结:面对含西里尔字母的遗留网页,编码问题本质是「字节→字符串」转换失准。绕过 requests 的自动解码逻辑,坚持 content + 显式 decode("cp1251"),即可稳定获取可读文本。










