”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Pydantic • 处理验证和清理数据

Pydantic • 处理验证和清理数据

发布于2024-08-19
浏览:154

Pydantic • Dealing with validating and sanitizing data

自从我开始编程以来,我主要使用结构化和过程范例,因为我的任务需要更实用和直接的解决方案。在处理数据提取时,我必须转向新的范式才能实现更有组织的代码。

这种必要性的一个例子是在抓取任务期间,当我需要捕获最初属于我知道如何处理的类型的特定数据时,但突然间,它要么不存在,要么在捕获过程中以不同的类型出现.

因此,我不得不添加一些if的try和catch块来检查数据是int还是string...后来发现什么也没捕获,None等等。对于字典,我最终在以下情况下保存了一些无趣的“默认数据”:

data.get(values, 0)

嗯,令人困惑的错误消息肯定必须停止出现。

这就是Python 的动态性。变量可以随时更改其类型,直到您需要更清楚地了解正在使用的类型为止。然后突然出现一堆信息,现在我正在阅读如何处理数据验证,IDE 帮助我处理类型提示和有趣的 pydantic 库。

现在,在数据操作等任务中,通过新的范例,我可以拥有显式声明其类型的对象,以及允许验证这些类型的库。如果出现问题,通过查看更好描述的错误信息,调试会更容易。


派丹提克

所以,这是 Pydantic 文档。有更多问题,欢迎咨询。

基本上,正如我们所知,我们从以下开始:

pip install pydantic

然后,假设我们希望从包含这些电子邮件的源中捕获电子邮件,其中大多数看起来像这样:“[email protected]”。但有时,它可能是这样的:“xxxx@”或“xxxx”。我们对应该捕获的电子邮件格式毫无疑问,因此我们将使用 Pydantic 验证此电子邮件字符串:

from pydantic import BaseModel, EmailStr

class Consumer(BaseModel):
    email: EmailStr
    account_id: int

consumer = Consumer(email="teste@teste", account_id=12345)

print(consumer)

请注意,我使用了可选依赖项“email-validator”,安装方式为:pip install pydantic[email]。正如我们所知,当您运行代码时,错误将是无效的电子邮件格式“teste@teste”:

Traceback (most recent call last):
  ...
    consumer = Consumer(email="teste@teste", account_id=12345)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  ...: 1 validation error for Consumer
email
  value is not a valid email address: The part after the @-sign is not valid. It should have a period. [type=value_error, input_value='teste@teste', input_type=str]

使用可选依赖项来验证数据很有趣,就像创建我们自己的验证一样,Pydantic 通过 field_validator 允许这样做。因此,我们知道 account_id 必须为正且大于零。如果不同,Pydantic 警告存在异常(值错误)会很有趣。代码将是:

from pydantic import BaseModel, EmailStr, field_validator

class Consumer(BaseModel):
    email: EmailStr
    account_id: int

    @field_validator("account_id")
    def validate_account_id(cls, value):
        """Custom Field Validation"""
        if value 





$ python capture_emails.py
Traceback (most recent call last):
...
    consumer = Consumer(email="[email protected]", account_id=0)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

...: 1 validation error for Consumer
account_id
  Value error, account_id must be positive: 0 [type=value_error, input_value=0, input_type=int]
    For further information visit https://errors.pydantic.dev/2.8/v/value_error

现在,使用正确的值运行代码:

from pydantic import BaseModel, EmailStr, field_validator

class Consumer(BaseModel):
    email: EmailStr
    account_id: int

    @field_validator("account_id")
    def validate_account_id(cls, value):
        """Custom Field Validation"""
        if value 





$ python capture_emails.py
email='[email protected]' account_id=12345

正确的?!

我还阅读了一些有关本机“dataclasses”模块的内容,该模块更简单一些,并且与 Pydantic 有一些相似之处。然而,Pydantic 更适合处理需要验证的更复杂的数据模型。 Dataclasses 本来就包含在 Python 中,而 Pydantic 还没有——至少现在还没有。

版本声明 本文转载于:https://dev.to/evertontenorio/pydantic-dealing-with-validating-and-sanitizing-data-594p?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • FCS API 与 Insight Ease:比特币 API 服务的简单比较
    FCS API 与 Insight Ease:比特币 API 服务的简单比较
    如果您热衷于比特币 API,那么选择正确的 API 非常重要。特别是如果您是开发人员、金融分析师或经营一家金融科技公司。您会听到的两个流行名称是 FCS API 和 Insight Ease。但哪一个更好呢?让我们仔细观察一下它们的比较,特别是当涉及到加密货币实时汇率 API、加密货币 API 交...
    编程 发布于2024-11-02
  • 如何在不修改HTML的情况下用JavaScript监听表单提交事件?
    如何在不修改HTML的情况下用JavaScript监听表单提交事件?
    在 JavaScript 中监听表单提交事件而不修改 HTML在本文中,我们解决了在不修改 HTML 的情况下监听表单提交事件的常见挑战必须修改 HTML 代码。我们不依赖 HTML 中的 onClick 或 onSubmit 属性,而是提供纯 JavaScript 解决方案。为了实现这一点,我们利...
    编程 发布于2024-11-02
  • Document.getElementById 与 jQuery $():主要区别是什么?
    Document.getElementById 与 jQuery $():主要区别是什么?
    Document.getElementById vs jQuery $():比较分析深入研究 Web 开发领域时,了解普通版本之间的细微差别JavaScript 和 jQuery 可能至关重要。本文研究了两个看似相同的代码片段之间的细微差别:var contents = document.getEl...
    编程 发布于2024-11-02
  • 在 Java 中使用方法和变量句柄进行运行时对象访问和操作
    在 Java 中使用方法和变量句柄进行运行时对象访问和操作
    反射和方法/var 句柄是 Java 中的两个强大功能,允许开发人员在运行时访问和操作对象。然而,它们在访问和处理对象的方式上有所不同。 让我们看一个如何使用反射来访问类中方法的示例。我们将从一个名为“MyClass”的简单类开始,它有一个私有字符串变量和该变量的 getter 方法。为了创建这个对...
    编程 发布于2024-11-02
  • 如何在 Python 中使用内置函数验证 IP 地址?
    如何在 Python 中使用内置函数验证 IP 地址?
    Python 中的 IP 地址验证验证 IP 地址的有效性是编程中的常见任务。从用户处接收字符串形式的 IP 地址时,必须对其进行验证,以确保它们符合正确的格式和结构。要在 Python 中有效验证 IP 地址,请考虑以下方法:无需手动解析 IP 地址,而是利用套接字模块中的内置 inet_aton...
    编程 发布于2024-11-02
  • 我需要学习编程方面的帮助
    我需要学习编程方面的帮助
    您好,我是一名系统工程专业的学生,​​我觉得我在课程中学到的编程知识不多。我想自学,因为我对这个话题非常感兴趣。这就是我在这个网站上向了解编程的人寻求帮助的原因。如果有人知道学习编程的最佳课程,从基础开始并进步到更专业的水平,那将会有很大的帮助。 我感兴趣的语言: Java JavaScript P...
    编程 发布于2024-11-02
  • 如何将 gorm.Model 集成到具有日期时间支持的 Protocol Buffer 定义中?
    如何将 gorm.Model 集成到具有日期时间支持的 Protocol Buffer 定义中?
    将 gorm.Model 集成到 Protocol Buffer 定义中将 gorm 的 gorm.Model 字段集成到 protobuf 定义中时,由于 proto3 中缺乏日期时间支持,出现了挑战。本文探讨了此问题的解决方案。ProtoBuf 字段类型映射CreatedAt、UpdatedAt...
    编程 发布于2024-11-02
  • 修补您的 Discord 活动的网络请求,以实现顺利的 CSP 合规性
    修补您的 Discord 活动的网络请求,以实现顺利的 CSP 合规性
    通过Discord运行Discord活动时,您可能会遇到内容安全策略(CSP)问题。您可以通过确保网络请求遵循 Discord 代理 规则来修复这些问题。 这可以手动完成...或者你可以让@robojs/patch处理它。 什么是CSP? 内容安全策略 (CSP) 是一种安全标准,...
    编程 发布于2024-11-02
  • 推荐项目:删除课程表查看数据
    推荐项目:删除课程表查看数据
    LabEx 的这个项目释放了数据库管理的力量,提供了在数据库中创建和操作视图的全面学习体验。无论您是崭露头角的数据库管理员还是经验丰富的开发人员,该项目都提供了宝贵的机会来增强您的技能并获得对数据管理世界的实际见解。 深入了解基础知识 在这个项目中,您将踏上了解数据库中视图的核心概念...
    编程 发布于2024-11-02
  • 模拟网络请求变得容易:集成 Jest 和 MSW
    模拟网络请求变得容易:集成 Jest 和 MSW
    Writing unit tests that involve mocking or stubbing API calls can feel overwhelming—I’ve been there myself. In this article, I’ll guide you through a ...
    编程 发布于2024-11-02
  • 使用 Javascript 的哈希映射
    使用 Javascript 的哈希映射
    介绍 哈希映射(Hash Map),也称为哈希表(Hash Table),是一种实现关联数组抽象数据类型的数据结构,是一种可以将键映射到值的结构。 它使用哈希函数来计算存储桶或槽数组的索引,从中可以找到所需的值。 哈希映射的主要优点是它的效率。插入新的键值对、删除键值对以及查...
    编程 发布于2024-11-02
  • HTPX 简介:适用于 JavaScript 和 Node.js 的轻量级多功能 HTTP 客户端
    HTPX 简介:适用于 JavaScript 和 Node.js 的轻量级多功能 HTTP 客户端
    作为开发人员,我们的 Web 应用程序通常需要一个可靠且高效的 HTTP 客户端,无论我们是在浏览器中使用 JavaScript 还是在服务器端使用 Node.js 进行构建。这就是我创建 HTPX 的原因——一个强大的、轻量级的解决方案,旨在简化 HTTP 请求,同时为现代开发提供一系列功能。 在...
    编程 发布于2024-11-02
  • 使用自然语言通过法学硕士生成简单的 Python GUI .... 在不到几分钟的时间内
    使用自然语言通过法学硕士生成简单的 Python GUI .... 在不到几分钟的时间内
    Thought that building Python GUIs took hours of tedious coding? Welcome to an exciting new era! Not only can tools like Github Copilot help with code ...
    编程 发布于2024-11-02
  • Dev、Oops 和 WEBAPP 故事
    Dev、Oops 和 WEBAPP 故事
    作为 DevOps 专业人员开发桌面 Web 应用程序感觉就像在广阔而复杂的海洋中航行。随着技术融合,Web、桌面和基于云的应用程序之间的界限变得模糊,迫使 DevOps 深入传统上由前端占据的领域 终端开发商。选择正确的框架变得至关重要,但挑战往往在于筛选当今可用的众多选项。例如,Vite、Rea...
    编程 发布于2024-11-02
  • 释放您的 Django 潜力:适合 4 人的项目创意和资源
    释放您的 Django 潜力:适合 4 人的项目创意和资源
    Django 时事通讯 - 2024 年 10 月 Django 简介和项目想法 如果您希望开始使用 Django 或提高自己的技能,请考虑以下一些宝贵的资源和项目想法: Django 项目想法 对于那些想要尝试或构建自己的作品集的人来说,Djang...
    编程 发布于2024-11-02

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3