Python爬虫核心是发请求、取数据、存结果三步；基于HTTP协议，需掌握GET/POST区别、状态码含义及Headers设置；解析用正则、BeautifulSoup或lxml+XPath；应对登录态、JS渲染和反爬需选合适工具与策略；存储依需求选txt、CSV、JSON、SQLite等。
Python爬虫的核心原理其实就三点：发请求、取数据、存结果。不搞复杂概念，先搞懂这三步怎么配合工作，再学库和框架才不会迷路。
HTTP协议是爬虫的底层语言
所有爬虫本质都是模拟浏览器发HTTP请求。重点理解几个关键点：
- GET和POST的区别：GET带参数在URL里，POST把数据放在请求体中；登录、提交表单通常用POST
- 状态码含义：200成功，302跳转，403被拒绝（常因没加headers），404不存在，500服务器错误
- Headers里User-Agent最关键——不加它，很多网站直接返回403；Referer、Cookie在处理登录或反爬时也常要手动构造
解析网页数据的关键不是“选哪个库”，而是“看清结构”
requests拿到HTML文本后，得从中精准定位目标内容。常用方法有三种：
- 正则表达式：适合简单、格式固定的文本（比如提取一串数字或邮箱），但容易因HTML微小变动失效
- BeautifulSoup：上手快，容错强，适合静态页面；用select()或find_all()按标签、class、id找元素
- lxml + XPath：速度更快、表达能力更强，尤其适合嵌套深、结构复杂的页面；例如//div[@class="item"]/h3/text() 可直接取标题文字
实战中绕不开的三个典型场景
练手不能只爬豆瓣电影Top250，得直面真实问题：
立即学习“Python免费学习笔记（深入）”；
- 登录态保持：用requests.Session()自动管理cookies，先post登录接口，再get个人主页，比每次手动传cookie可靠得多
- JavaScript渲染内容：遇到“滚动加载”或“点击展开”，requests拿不到真实数据，得换Selenium或Playwright，或者分析XHR接口直接请求JSON
- 反爬应对思路：频率控制（time.sleep）、随机headers、代理IP轮换、验证码识别（简单图形可用OCR，复杂走打码平台）——先判断对方防的是什么，再选对策
数据落地别只盯着CSV和Excel
存数据要考虑后续怎么用：
- 快速验证用print或写txt，别一上来就建数据库
- 结构清晰、量不大，CSV最通用；含多级字段或需要查询，优先存JSON文件
- 长期维护或要做分析，SQLite轻量又够用；上百万条以上再考虑MySQL或MongoDB
