1. Pydantic v2 数据预处理需求背景
在实际数据处理中，我们经常会遇到数据格式不一致的问题。例如，某些系统或地区习惯使用逗号（,）作为小数分隔符，而非标准的点（.）。当这类数据作为字符串传递给Pydantic模型中声明为float类型的字段时，Pydantic默认的解析器将无法正确识别，导致验证失败。
考虑以下Pydantic模型定义，其中balance和weight字段预期为浮点数：
from pydantic import BaseModel
class User(BaseModel):
name: str
balance: float
weight: float
# ... 其他浮点数字段如果尝试传入 {..., "balance": "13,7"} 这样的数据，Pydantic会抛出验证错误，因为它期望的是一个点分隔的浮点数字符串或直接的浮点数。为了解决这一问题，我们需要在Pydantic进行类型转换和验证之前，对原始输入数据进行预处理。
2. Pydantic v2 model_validator(mode='before') 机制
Pydantic v2引入了强大的model_validator装饰器，它允许开发者在模型级别定义验证逻辑。其中，mode='before'模式尤为关键，它指示Pydantic在执行任何字段的类型转换或验证之前，先运行此验证器。这使得我们能够在原始数据字典被Pydantic处理之前对其进行修改，非常适合进行数据清洗和格式统一。
3. 实现自定义浮点数解析
我们可以通过定义一个model_validator(mode='before')来遍历输入数据字典。对于每一个键值对，我们首先检查该字段在模型定义中是否被声明为float类型，并且其当前值是否为字符串。如果两者都满足，我们就将字符串中的逗号替换为点，从而将其转换为Pydantic可以识别的标准浮点数字符串格式。
以下是实现这一逻辑的示例代码：
from pydantic import BaseModel, model_validator
from typing import Dict, Any
class User(BaseModel):
name: str
balance: float
weight: float
# ... 其他浮点数字段
@model_validator(mode='before')
@classmethod
def fix_float_comma_strings(cls, data: Dict[str, Any]) -> Dict[str, Any]:
"""
在Pydantic模型验证之前，将输入数据中所有声明为float类型的字段
且其值为含逗号的字符串时，将逗号替换为点。
"""
if not isinstance(data, dict):
# 如果输入不是字典，Pydantic会在后续处理中报错，这里可选择跳过或提前处理
return data
for k, v in data.items():
# 1. 检查字段k是否在模型中被声明
if k in cls.__annotations__:
# 2. 检查字段k的声明类型是否为float
# issubclass(float, cls.__annotations__[k]) 检查 cls.__annotations__[k] 是否是 float 或其子类
# 对于 Union[float, None] 等复杂类型，需要更复杂的判断
# 简单起见，这里假设直接就是 float 类型
if cls.__annotations__[k] is float:
# 3. 检查当前值是否为字符串
if isinstance(v, str):
# 4. 执行替换操作
data[k] = v.replace(',', '.')
return data
# 示例使用
if __name__ == "__main__":
# 正常数据
user1 = User(name="Alice", balance=123.45, weight="60.5")
print(f"User 1 (正常数据): {user1.model_dump()}")
# Output: User 1 (正常数据): {'name': 'Alice', 'balance': 123.45, 'weight': 60.5}
# 含逗号的浮点数字符串数据
bad_data = {
"name": "Bob",
"balance": "13,7",
"weight": "75,25"
}
user2 = User(**bad_data)
print(f"User 2 (含逗号数据): {user2.model_dump()}")
# Output: User 2 (含逗号数据): {'name': 'Bob', 'balance': 13.7, 'weight': 75.25}
# 混合数据
mixed_data = {
"name": "Charlie",
"balance": "100.5", # 点分隔
"weight": "80,1" # 逗号分隔
}
user3 = User(**mixed_data)
print(f"User 3 (混合数据): {user3.model_dump()}")
# Output: User 3 (混合数据): {'name': 'Charlie', 'balance': 100.5, 'weight': 80.1}
# 验证非字符串数据不会被修改
non_string_data = {
"name": "David",
"balance": 50,
"weight": "65,0"
}
user4 = User(**non_string_data)
print(f"User 4 (非字符串数据): {user4.model_dump()}")
# Output: User 4 (非字符串数据): {'name': 'David', 'balance': 50.0, 'weight': 65.0}在上述代码中：
- @model_validator(mode='before') 确保了 fix_float_comma_strings 方法在任何字段验证之前运行。
- @classmethod 是模型验证器的标准用法。
- 我们遍历了输入数据 data 的所有键值对。
- if k in cls.__annotations__ and cls.__annotations__[k] is float: 这一行是关键，它首先检查 k 是否是模型中定义的字段，然后精确地判断该字段的声明类型是否为 float。这比简单地检查 isinstance(v, str) 更为安全和精确，因为它基于模型的类型定义进行判断。
- if isinstance(v, str): 确保我们只对字符串类型的值进行处理。
- data[k] = v.replace(',', '.') 执行了核心的替换逻辑。
- 最后，修改后的 data 字典被返回，Pydantic将使用这个修改后的字典继续后续的验证流程。
4. 注意事项与最佳实践
- mode='before' 的重要性：此模式是实现数据预处理的关键。如果使用 mode='after' 或 mode='wrap'，数据可能已经经过Pydantic的初步类型转换，导致无法处理原始的字符串形式。
- 类型检查的严谨性：cls.__annotations__[k] is float 确保我们只处理明确声明为 float 类型的字段。对于更复杂的类型提示（如 Optional[float] 或 Union[float, str]），需要更复杂的逻辑来解析 cls.__annotations__[k] 的真实类型。
- 性能考虑：对于包含大量字段或需要处理巨量数据的模型，遍历所有字段并进行字符串替换可能会引入一定的性能开销。在极端情况下，可以考虑更优化的数据清洗管道，但这对于大多数应用场景来说是足够的。
- 适用场景扩展：此模式不仅限于逗号到点的转换，还可以用于其他常见的数据清洗任务，例如去除空白字符、统一日期格式等。
- Pydantic v1 兼容性：在 Pydantic v1 中，类似的预处理功能通常通过 validator(pre=True) 来实现。Pydantic v2 的 model_validator 提供了更强大和灵活的模型级别验证能力。
5. 总结
通过利用Pydantic v2的model_validator(mode='before')机制，我们可以有效地解决浮点数字符串中逗号分隔符的问题。这种方法提供了一种优雅且健壮的方式来预处理输入数据，确保Pydantic模型能够成功解析和验证数据，从而提高了应用程序的数据处理能力和容错性。它体现了Pydantic在数据验证和类型转换方面的强大灵活性。
