解决漫画网站图片爬取不完整问题
许多漫画网站为了优化图片加载速度，使用了分块传输编码（chunked transfer encoding，简称TE）技术。这会导致爬虫获取到的图片数据不完整，从而显示残缺。 这不是浏览器问题，而是服务器端传输方式造成的。
分块传输编码 (TE) 原理
TE 允许服务器分块发送数据，无需预先知道总数据量。这虽然提高了传输效率，但对爬虫来说，需要特殊处理才能完整接收图片。
Python 爬虫中禁用 TE
为了避免图片残缺，我们需要在HTTP请求中禁用TE。 通过设置 Transfer-Encoding 请求头为 identity，即可告知服务器不使用分块传输。 以下为Python代码示例：
import requests
# 设置请求头，禁用分块传输编码
headers = {'Transfer-Encoding': 'identity'}
# 发起HTTP请求
response = requests.get(url, headers=headers, stream=True) # stream=True 逐块读取，更节省内存
# 保存图片
with open('image.jpg', 'wb') as f:
for chunk in response.iter_content(chunk_size=8192): # 逐块写入，避免内存溢出
f.write(chunk)
通过以上方法，爬虫就能完整接收图片数据，解决图片残缺问题。 注意 stream=True 和 iter_content 的使用，这能有效避免内存溢出，尤其在处理大型图片时非常重要。
