」工欲善其事,必先利其器。「—孔子《論語.錄靈公》
首頁 > 程式設計 > 耐用的 Python:建立防彈的長期運作工作流程,變得簡單

耐用的 Python:建立防彈的長期運作工作流程,變得簡單

發佈於2024-11-05
瀏覽:749

Durable Python: Building Bullet-Proof Long-Running Workflows, Made Simple

在现代软件开发中,创建强大的工作流程来连接来自各种服务的 API 并处理同步和异步事件是一个常见的挑战。传统方法涉及使用队列、微服务和状态管理系统的组合来构建可扩展的应用程序。虽然有效,但这种架构带来了巨大的开销:设置和维护消息队列等基础设施、运行服务器或 lambda 函数、管理数据库中的状态以及实现复杂的错误处理机制。

如果有一种更简单、更可靠的方法来处理长时间运行的工作流程,而无需管理所有这些基础设施的麻烦,该怎么办?这就是 Durable Python 的目标,要尝试它,请注册 Beta。

长期运行流程的朴素解决方案的问题

假设您想要监控 GitHub 中的拉取请求 (PR)。每次打开新的 PR 时,您都希望创建一个专用的 Slack 频道进行讨论并发送每日提醒,直到 PR 关闭或合并。这听起来很简单,所以您可能认为可以使用基本的 Python 函数来解决它(这是 ChatGPT 生成的基本 Python 函数):

@app.route('/webhook', methods=['POST'])
def github_webhook():
    data = request.json
    if 'pull_request' in data and data['action'] == 'opened':
        pr_number = data['pull_request']['number']
        pr_url = data['pull_request']['html_url']
        # Create a new Slack channel for the PR
        channel_id = create_slack_channel(pr_number)
        send_slack_notification(channel_id, pr_number, pr_url)
        # Periodically check the PR status and send reminders until it's closed or merged
        while True:
            time.sleep(3600)  # Wait for 1 hour before checking the status again
            pr_status = check_pr_status(pr_number)
            if pr_status == 'open':
                send_slack_notification(channel_id, pr_number, pr_url)
            else:
                break
    return jsonify({'status': 'ok'})

此代码片段似乎可以处理该任务,但它只适合“快乐流程”场景。在实际应用中,这种简单的方法是不够的。 while 循环依赖于连续的服务器正常运行时间,但这是无法保证的。进程可能崩溃,服务器可能重新启动,突然之间,您的工作流程就被破坏了。

实际解决方案:事件驱动的应用程序

更可靠的方法涉及构建事件驱动的应用程序。在这里,您将使用队列来侦听 GitHub 事件,使用 cron 作业来发送提醒,使用数据库来存储 PR 和通道状态,以及使用函数来处理这些事件。通常,此设置在云基础设施上运行,利用 AWS Lambda 等服务进行部署和执行。

虽然这种方法可行且稳健,但它也需要大量的设置、维护和专业知识。管理基础设施、确保正常运行时间和处理错误状态需要大量资源和熟练的团队。

输入耐用的 Python:简单性与可靠性的结合

如果您可以将简单的 Python 代码与异步设计的可靠性结合起来会怎么样?如果 Python 能够保证即使进程崩溃或服务器重新启动,它也会从上次中断的地方继续执行怎么办?

AutoKitteh 通过 Durable Python 准确地解决了这一挑战。使用 Durable Python,用户编写 Python 代码,而系统确保如果进程重新启动,它会从同一点继续运行。虽然存在限制(例如,长时间停机可能并不理想),但对于大多数用例来说,此解决方案可以完美运行。

Durable-Python 提供什么

Durable-Python 使您无需手动管理状态,从而使您能够将工作流程编写为连续流,而不是事件驱动的状态机,而事件驱动的状态机在构建和调试方面可能具有挑战性。 AutoKitteh 作为基础设施,具有内置队列以及与外部应用程序和 API 的集成,可以轻松地在 Python 中快速开发强大的工作流程。

它是如何运作的

这并不涉及魔法——只是坚实的工程。 AutoKitteh 由 Temporal 提供支持,Temporal 是一个用于构建持久工作流程的框架。时间需要特定的编码方式,包括对确定性、幂等性和其他概念的理解,以确保可靠性。 AutoKitteh 抽象了这些复杂性,允许开发人员编写标准的 Python 代码。在幕后,任何具有副作用的函数都会转换为时间活动。作为开发人员,您不必担心这些细节 - 只需专注于编写业务逻辑。

有关更多技术细节,请参阅 AutoKitteh 文档。

有费用吗?

当然,每一个抽象都有一个价格。在底层,Durable Python 会记录工作流程,以便在发生故障后进行恢复,这会产生一些存储和性能成本。

Durable Python 专为编排 API 而设计,而不是构建数据应用程序。如果您需要高性能应用程序,您应该考虑构建自定义解决方案。但是,如果您想以最少的开发和基础设施投资快速开发可靠的工作流程,Durable Python 可能是一个不错的选择。

实际应用

耐用的Python可以应用于广泛的工作流程,特别是在可靠性至关重要的领域,例如:

  • API 编排 - 构建内部可靠的工作流程。
  • DevOps 自动化:自动化部署管道或代码审查自动化,并保证从故障中恢复。
  • ChatOps:与聊天平台集成以自动化团队通知并管理工作流程。
  • MLOps:确保长期运行的机器学习工作流程在中断的情况下仍能无缝继续。

可以在此处找到工作流程示例。

结论:更少的代码,更少的麻烦

由 AutoKitteh 提供支持的耐用 Python 概念使开发人员能够使用最少的代码构建、部署和管理可靠的工作流程自动化。持久执行和无缝恢复在幕后处理,因此您可以专注于真正重要的事情 - 您的业务逻辑。

虽然有许多优秀的工具可以实现持久性(如 Temporal 和 Restate),但 Durable-Python 提供了一种快速、简单且经济高效的方法来实现相同的结果。

版本聲明 本文轉載於:https://dev.to/haimzlato/durable-python-building-bullet-proof-long-running-workflows-made-simple-49h4?1如有侵犯,請聯絡[email protected]刪除
最新教學 更多>
  • 如何將來自三個MySQL表的數據組合到新表中?
    如何將來自三個MySQL表的數據組合到新表中?
    mysql:從三個表和列的新表創建新表 答案:為了實現這一目標,您可以利用一個3-way Join。 選擇p。 *,d.content作為年齡 來自人為p的人 加入d.person_id = p.id上的d的詳細信息 加入T.Id = d.detail_id的分類法 其中t.taxonomy ...
    程式設計 發佈於2025-04-19
  • 如何使用FormData()處理多個文件上傳?
    如何使用FormData()處理多個文件上傳?
    )處理多個文件輸入時,通常需要處理多個文件上傳時,通常是必要的。 The fd.append("fileToUpload[]", files[x]); method can be used for this purpose, allowing you to send multi...
    程式設計 發佈於2025-04-19
  • 使用CSS讓兩個浮動Div高度一致的技巧
    使用CSS讓兩個浮動Div高度一致的技巧
    在html/css 使用CSS創建相等的高度divs One approach involves setting large bottom padding, negating that padding with negative bottom margin, and surrounding th...
    程式設計 發佈於2025-04-19
  • 圖片在Chrome中為何仍有邊框? `border: none;`無效解決方案
    圖片在Chrome中為何仍有邊框? `border: none;`無效解決方案
    在chrome 中刪除一個頻繁的問題時,在與Chrome and IE9中的圖像一起工作時,遇到了一個頻繁的問題。和“邊境:無;”在CSS中。要解決此問題,請考慮以下方法: Chrome具有忽略“ border:none; none;”的已知錯誤,風格。要解決此問題,請使用以下CSS ID塊創建帶...
    程式設計 發佈於2025-04-19
  • Java中Lambda表達式為何需要“final”或“有效final”變量?
    Java中Lambda表達式為何需要“final”或“有效final”變量?
    Lambda Expressions Require "Final" or "Effectively Final" VariablesThe error message "Variable used in lambda expression shou...
    程式設計 發佈於2025-04-19
  • PHP陣列鍵值異常:了解07和08的好奇情況
    PHP陣列鍵值異常:了解07和08的好奇情況
    PHP數組鍵值問題,使用07&08 在給定數月的數組中,鍵值07和08呈現令人困惑的行為時,就會出現一個不尋常的問題。運行print_r($月份)返回意外結果:鍵“ 07”丟失,而鍵“ 08”分配給了9月的值。 此問題源於PHP對領先零的解釋。當一個數字帶有0(例如07或08)的前綴時,PHP...
    程式設計 發佈於2025-04-19
  • 如何將Allegro庫集成到Visual Studio項目中
    如何將Allegro庫集成到Visual Studio項目中
    將外部庫將其納入Visual Studio項目:添加Allegro 將Allegro添加到Visual Studio 確保您已經下載了Allegro庫並在系統上確定了其位置。 It typically comes in a .dll format.Project Properties Modifi...
    程式設計 發佈於2025-04-19
  • FastAPI自定義404頁面創建指南
    FastAPI自定義404頁面創建指南
    response = await call_next(request) if response.status_code == 404: return RedirectResponse("https://fastapi.tiangolo.com") else: ...
    程式設計 發佈於2025-04-19
  • 如何在php中使用捲髮發送原始帖子請求?
    如何在php中使用捲髮發送原始帖子請求?
    如何使用php 創建請求來發送原始帖子請求,開始使用curl_init()開始初始化curl session。然後,配置以下選項: curlopt_url:請求 [要發送的原始數據指定內容類型,為原始的帖子請求指定身體的內容類型很重要。在這種情況下,它是文本/平原。要執行此操作,請使用包含以下標頭...
    程式設計 發佈於2025-04-19
  • HTML格式標籤
    HTML格式標籤
    HTML 格式化元素 **HTML Formatting is a process of formatting text for better look and feel. HTML provides us ability to format text without us...
    程式設計 發佈於2025-04-19
  • 如何在Chrome中居中選擇框文本?
    如何在Chrome中居中選擇框文本?
    選擇框的文本對齊:局部chrome-inly-ly-ly-lyly solument 您可能希望將文本中心集中在選擇框中,以獲取優化的原因或提高可訪問性。但是,在CSS中的選擇元素中手動添加一個文本 - 對屬性可能無法正常工作。 初始嘗試 state)</option> < o...
    程式設計 發佈於2025-04-19
  • 如何處理PHP文件系統功能中的UTF-8文件名?
    如何處理PHP文件系統功能中的UTF-8文件名?
    在PHP的Filesystem functions中處理UTF-8 FileNames 在使用PHP的MKDIR函數中含有UTF-8字符的文件很多flusf-8字符時,您可能會在Windows Explorer中遇到comploreer grounder grounder grounder gro...
    程式設計 發佈於2025-04-19
  • 如何使用組在MySQL中旋轉數據?
    如何使用組在MySQL中旋轉數據?
    在關係數據庫中使用mySQL組使用mySQL組進行查詢結果,在關係數據庫中使用MySQL組,轉移數據的數據是指重新排列的行和列的重排以增強數據可視化。在這裡,我們面對一個共同的挑戰:使用組的組將數據從基於行的基於列的轉換為基於列。讓我們考慮以下查詢: select data d.data_ti...
    程式設計 發佈於2025-04-19
  • 在JavaScript中如何獲取實際渲染的字體,當CSS字體屬性未定義時?
    在JavaScript中如何獲取實際渲染的字體,當CSS字體屬性未定義時?
    Accessing Actual Rendered Font when Undefined in CSSWhen accessing the font properties of an element, the JavaScript object.style.fontFamily and objec...
    程式設計 發佈於2025-04-19
  • 如何使用Depimal.parse()中的指數表示法中的數字?
    如何使用Depimal.parse()中的指數表示法中的數字?
    在嘗試使用Decimal.parse(“ 1.2345e-02”中的指數符號表示法表示的字符串時,您可能會遇到錯誤。這是因為默認解析方法無法識別指數符號。 成功解析這樣的字符串,您需要明確指定它代表浮點數。您可以使用numbersTyles.Float樣式進行此操作,如下所示:[&& && && ...
    程式設計 發佈於2025-04-19

免責聲明: 提供的所有資源部分來自互聯網,如果有侵犯您的版權或其他權益,請說明詳細緣由並提供版權或權益證明然後發到郵箱:[email protected] 我們會在第一時間內為您處理。

Copyright© 2022 湘ICP备2022001581号-3