使用 llamaextract 和 pydantic 模型提取商店收据
在本文中，我们将探索如何使用 llamaextract 与 pydantic 模型中的模式相结合，以便从商店收据中提取结构化数据。这种方法有助于系统地组织收据信息，使其更易于分析和管理。
设置
首先，确保您安装了 llama-extract 客户端库。使用以下命令：
pip install llama-extract pydantic
注意： 如果您看到有关更新 pip 的通知，您可以使用提供的命令进行更新。
首先，登录llama index cloud并免费获取一个api-key
为您的 llamaextract api 密钥设置环境变量：
import os os.environ["llama_cloud_api_key"] = "your llama index cloud api here"
加载数据
对于此示例，假设我们有一个 pdf 格式的商店收据数据集。将这些文件放在名为receipts的目录中。
data_dir = "data/receipts"
fnames = os.listdir(data_dir)
fnames = [fname for fname in fnames if fname.endswith(".pdf")]
fpaths = [os.path.join(data_dir, fname) for fname in fnames]
fpaths
输出应列出收据的文件路径：
['data/receipts/receipt.pdf']
定义 pydantic 模型
我们将使用 pydantic 定义我们的数据模型，这将告诉 api 我们期望或想要从 pdf 中提取哪些字段/数据。对于商店收据，我们可能有兴趣提取商店名称、日期、总金额和购买的商品列表。
from pydantic import basemodel
from typing import list
class item(basemodel):
name: str
quantity: int
price: float
class receipt(basemodel):
store_name: str
date: str
total_amount: float
items: list[item]
创建架构
现在，我们可以使用 pydantic 模型在 llamaextract 中定义提取模式。
from llama_extract import llamaextract
extractor = llamaextract(verbose=true)
schema_response = await extractor.acreate_schema("receipt schema", data_schema=receipt)
schema_response.data_schema
输出架构应类似于以下内容：
{
'type': 'object',
'$defs': {
'item': {
'type': 'object',
'title': 'item',
'required': ['name', 'quantity', 'price'],
'properties': {
'name': {'type': 'string', 'title': 'name'},
'quantity': {'type': 'integer', 'title': 'quantity'},
'price': {'type': 'number', 'title': 'price'}
}
}
},
'title': 'receipt',
'required': ['store_name', 'date', 'total_amount', 'items'],
'properties': {
'store_name': {'type': 'string', 'title': 'store name'},
'date': {'type': 'string', 'title': 'date'},
'total_amount': {'type': 'number', 'title': 'total amount'},
'items': {
'type': 'array',
'title': 'items',
'items': {'$ref': '#/$defs/item'}
}
}
}
运行提取
定义模式后，我们现在可以从收据文件中提取结构化数据。通过指定收据作为响应模型，我们确保提取的数据经过验证和结构化。
responses = await extractor.aextract(
schema_response.id, fpaths, response_model=receipt
)
如果需要，您可以访问原始 json 输出：
data = responses[0].data print(data)
json 输出示例：
{
'store_name': 'ABC Electronics',
'date': '2024-08-05',
'total_amount': 123.45,
'items': [
{'name': 'Laptop', 'quantity': 1, 'price': 999.99},
{'name': 'Mouse', 'quantity': 1, 'price': 25.00},
{'name': 'Keyboard', 'quantity': 1, 'price': 50.00}
]
}
结论
在本文中，我们演示了如何将 llamaextract 与 pydantic 模型结合使用来定义数据模式并从商店收据中提取结构化数据。这种方法可确保提取的信息组织良好且经过验证，从而更易于处理和分析。
这也可用于许多案例、发票、收据、报告等。
快乐编码！！
你有一个项目?想让我帮你发邮件给我??：wilbertmisingo@gmail.com
有疑问或想成为第一个了解我的帖子的人：-
在 linkedin 上关注 ✅ 我?
在 twitter/x 上关注 ✅ 我?
