使用 LlamaExtract 和 Pydantic 模型提取商店收据

在本文中，我们将探索如何使用 LlamaExtract 与 Pydantic 模型中的模式相结合，以便从商店收据中提取结构化数据。这种方法有助于系统地组织收据信息，使其更易于分析和管理。

设置

首先，确保您安装了 llama-extract 客户端库。使用以下命令：

pip install llama-extract pydantic

注意：如果您看到有关更新 pip 的通知，您可以使用提供的命令进行更新。

首先，登录并从 Llama Index Cloud 免费获取 api-key

为您的 LlamaExtract API 密钥设置环境变量：

import os

os.environ["LLAMA_CLOUD_API_KEY"] = "YOUR LLAMA INDEX CLOUD API HERE"

加载数据

对于此示例，假设我们有一个 PDF 格式的商店收据数据集。将这些文件放在名为receipts 的目录中。

DATA_DIR = "data/receipts"
fnames = os.listdir(DATA_DIR)
fnames = [fname for fname in fnames if fname.endswith(".pdf")]
fpaths = [os.path.join(DATA_DIR, fname) for fname in fnames]
fpaths

输出应列出收据的文件路径：

['data/receipts/receipt.pdf']

定义 Pydantic 模型

我们将使用 Pydantic 定义我们的数据模型，这将告诉 API 我们期望或想要从 PDF 中提取哪些字段/数据。对于商店收据，我们可能有兴趣提取商店名称、日期、总金额和购买的商品列表。

from pydantic import BaseModel
from typing import List

class Item(BaseModel):
    name: str
    quantity: int
    price: float

class Receipt(BaseModel):
    store_name: str
    date: str
    total_amount: float
    items: List[Item]

创建架构

现在，我们可以使用 Pydantic 模型在 LlamaExtract 中定义提取模式。

from llama_extract import LlamaExtract

extractor = LlamaExtract(verbose=True)
schema_response = await extractor.acreate_schema("Receipt Schema", data_schema=Receipt)
schema_response.data_schema

输出架构应类似于以下内容：

{
    'type': 'object',
    '$defs': {
        'Item': {
            'type': 'object',
            'title': 'Item',
            'required': ['name', 'quantity', 'price'],
            'properties': {
                'name': {'type': 'string', 'title': 'Name'},
                'quantity': {'type': 'integer', 'title': 'Quantity'},
                'price': {'type': 'number', 'title': 'Price'}
            }
        }
    },
    'title': 'Receipt',
    'required': ['store_name', 'date', 'total_amount', 'items'],
    'properties': {
        'store_name': {'type': 'string', 'title': 'Store Name'},
        'date': {'type': 'string', 'title': 'Date'},
        'total_amount': {'type': 'number', 'title': 'Total Amount'},
        'items': {
            'type': 'array',
            'title': 'Items',
            'items': {'$ref': '#/$defs/Item'}
        }
    }
}

运行提取

定义了架构后，我们现在可以从收据文件中提取结构化数据。通过指定收据作为响应模型，我们确保提取的数据经过验证和结构化。

responses = await extractor.aextract(
    schema_response.id, fpaths, response_model=Receipt
)

如果需要，您可以访问原始 JSON 输出：

data = responses[0].data
print(data)

JSON 输出示例：

{
    'store_name': 'ABC Electronics',
    'date': '2024-08-05',
    'total_amount': 123.45,
    'items': [
        {'name': 'Laptop', 'quantity': 1, 'price': 999.99},
        {'name': 'Mouse', 'quantity': 1, 'price': 25.00},
        {'name': 'Keyboard', 'quantity': 1, 'price': 50.00}
    ]
}

结论

在本文中，我们演示了如何将 LlamaExtract 与 Pydantic 模型结合使用来定义数据模式并从商店收据中提取结构化数据。这种方法可确保提取的信息组织良好且经过验证，从而更易于处理和分析。

这也可用于许多案例、发票、收据、报告等。

快乐编码！！

你有项目吗？您希望我协助您给我发电子邮件吗？： [email protected]

有疑问或想成为第一个了解我的帖子的人：-
在 LinkedIn 上关注 ✅ 我？
在 Twitter/X 上关注 ✅ 我？