推荐用 dict.get() 链式调用并设合理默认值(如{}或[])安全访问嵌套JSON;深度大时封装 safe_get 或用 jsonpath-ng 提取;结构化数据转 DataFrame 用 pd.json_normalize();统一清洗 None/""/"null" 等空值。

遇到 KeyError 说明没处理好嵌套层级
JSON 数据里经常有 data → list → [0] → user → profile 这种多层嵌套,直接写 res['data']['list'][0]['user']['profile']['name'] 很容易在某一层为空或缺失字段时抛 KeyError 或 TypeError。
推荐用 dict.get() 链式调用,配合默认值兜底:
name = (
res
.get('data', {})
.get('list', [{}])[0]
.get('user', {})
.get('profile', {})
.get('name', '未知')
)- 每层都用
.get(key, default),避免崩;default选空字典或空列表,方便后续继续链式调用 -
[0]这种索引操作不能用get,得先确保列表存在且非空——所以前面要用.get('list', [{}])提供安全兜底 - 如果结构深度大、访问频繁,建议封装成函数,比如
safe_get(res, 'data.list.0.user.profile.name', '未知')
用 jsonpath-ng 解析深层嵌套更灵活
当嵌套结构不固定(比如 items 下可能有 product 或 service 两种类型),或者要批量提取同名字段(如所有 id),硬写 .get() 会很累。
jsonpath-ng 是 Python 里最接近 JavaScript 的 lodash.get + jq 的组合:
立即学习“Python免费学习笔记(深入)”;
from jsonpath_ng import parse from jsonpath_ng.ext import parse as ext_parse from jsonpath_ng.jsonpath import DatumInContext安装:pip install jsonpath-ng
json_data = {"results": [{"id": 1, "tags": ["a", "b"]}, {"id": 2, "tags": ["c"]}]} jsonpath_expr = ext_parse('$.results[*].id') matches = [match.value for match in jsonpath_expr.find(json_data)]
→ [1, 2]
-
$.results[*].id可以跳过中间层数,直接取所有id;[*]自动处理列表,不用手动写[0]、[1] - 支持过滤:
$.results[?(@.tags.length > 1)]找出tags长度大于 1 的项 - 注意:原生
jsonpath-ng不支持..(递归下降),要用ext_parse;但也不支持filter里的复杂表达式,比如@.x == @.y会报错
把嵌套 JSON 扁平化成 pandas DataFrame
接口返回的是树状结构,但你真正要分析的是“每个用户对应几个订单”,这种一对多关系直接转 pd.DataFrame 会出错——pandas 会把整个子对象塞进一个单元格。
正确做法是先用 pd.json_normalize() 拆解:
import pandas as pddata = { "users": [ { "id": 1, "name": "Alice", "orders": [{"oid": "A001", "amount": 99}, {"oid": "A002", "amount": 150}] }, { "id": 2, "name": "Bob", "orders": [{"oid": "B001", "amount": 78}] } ] }
展开 users,同时把 orders 拆成多行(record_path)
df = pd.json_normalize( data['users'], record_path='orders', meta=['id', 'name'], errors='ignore' )
→ 三行:Alice 两条订单,Bob 一条
-
record_path指定要“炸开”的嵌套列表字段;meta指定要保留的父级字段 - 如果
orders缺失,加errors='ignore'防止中断;也可以用meta_prefix给父级字段加前缀避免重名 - 不支持多层嵌套展开(比如
orders.items.discount),得先用jsonpath-ng或递归预处理
None 和空字符串混用导致数据清洗失败
很多接口对“无值”字段返回 null(Python 里是 None),但有些又返回空字符串 ""、空列表 [],甚至 "null" 字符串。不做统一清理,后续 str.upper() 或 len() 就会报错。
- 别用
if not x:判断是否为空——它会把0、False也当成空,而这些可能是合法值 - 明确检查类型:
x is None、isinstance(x, str) and not x.strip()、isinstance(x, list) and not x - 建议在解析后立刻做一次清洗,例如写个
clean_value(v)函数,把None、""、"null"都转成统一的None,再交给下游逻辑
嵌套深不可怕,可怕的是每一层都靠运气判断是否存在。真正省时间的做法,不是写更多 try/except,而是从第一行解析开始就建立“防御性访问”习惯——尤其是 .get() 的默认值选什么,决定了后面要不要写十行校验代码。










