Python结构化数据采集核心是字段抽取准确稳定：明确目标字段、设计容错解析逻辑、处理异常，优先用requests+lxml/BeautifulSoup或JSON安全访问，封装清洗函数，结构化输出字典或dataclass，并添加校验与日志。
Python做结构化数据采集，核心不是“爬得多快”，而是“字段抽得准、解析得稳”。关键在明确目标字段、设计健壮的抽取逻辑、处理常见异常（如缺失、格式不一、嵌套结构），而不是堆砌框架或追求一次性全量抓取。
明确目标字段，反推HTML/JSON结构
别先写代码，先打开浏览器开发者工具，定位你真正需要的字段——比如“商品标题”“价格”“发货地”“评分”。观察它们在HTML中的位置关系：是固定class？在某个div里嵌套了三层？还是藏在script标签的JSON里？对JSON接口，则直接看响应体结构，确认字段路径（如data.items[0].price）。
建议做法：
- 用
requests获取原始响应，先print(response.text[:500])看一眼结构 - 对HTML，优先用
lxml.etree或BeautifulSoup配合CSS选择器（比XPath更易读） - 对JSON API，用
response.json()后，用字典键和列表索引安全访问，避免直接链式调用（如data['a']['b']['c']会报KeyError）
字段抽取要“容错”，别假设数据永远规范
真实网页中，“价格”可能写成“¥99”“99.00元”“暂无报价”，“评分”可能是“4.8”“4.8（231条评论）”甚至空字符串。硬编码正则或固定切片极易崩。
立即学习“Python免费学习笔记（深入）”；
实用策略：
- 用
re.search(r'[\d.]+', text)提取数字部分，再转float；对多格式文本统一清洗再解析 - 用
dict.get('key', default)代替dict['key']，防止KeyError - 对列表取值加
if len(items) > 0:判断，或用next(iter(items), None) - 把字段抽取逻辑封装成小函数，例如
parse_price(el)，内部处理各种异常情况
结构化解析结果，用字典或dataclass组织输出
别把所有字段拼成一行字符串或乱序列表。用标准字典（key为字段名，value为清洗后值）最通用；若字段多、需类型约束，可用dataclass定义结构：
from dataclasses import dataclass
@dataclass
class Product:
title: str = ""
price: float = 0.0
score: float | None = None
这样后续存CSV、写入数据库、做类型校验都更清晰，也方便单元测试字段逻辑。
加基础校验与日志，问题可追溯
采集脚本跑着跑着没报错但数据为空？大概率是选择器失效或页面结构更新了。加两行简单校验能省大量排查时间：
- 抽取前检查响应状态码和关键标识文本（如
if '商品列表' not in response.text:） - 抽取后验证必填字段是否为空：
if not item['title'].strip(): logger.warning(f"空标题，URL: {url}") - 用
logging记录关键步骤，别只靠print——尤其在循环采集时
