」工欲善其事,必先利其器。「—孔子《論語.錄靈公》
首頁 > 程式設計 > 耐用的 Python:建立防彈的長期運作工作流程,變得簡單

耐用的 Python:建立防彈的長期運作工作流程,變得簡單

發佈於2024-11-05
瀏覽:338

Durable Python: Building Bullet-Proof Long-Running Workflows, Made Simple

在现代软件开发中,创建强大的工作流程来连接来自各种服务的 API 并处理同步和异步事件是一个常见的挑战。传统方法涉及使用队列、微服务和状态管理系统的组合来构建可扩展的应用程序。虽然有效,但这种架构带来了巨大的开销:设置和维护消息队列等基础设施、运行服务器或 lambda 函数、管理数据库中的状态以及实现复杂的错误处理机制。

如果有一种更简单、更可靠的方法来处理长时间运行的工作流程,而无需管理所有这些基础设施的麻烦,该怎么办?这就是 Durable Python 的目标,要尝试它,请注册 Beta。

长期运行流程的朴素解决方案的问题

假设您想要监控 GitHub 中的拉取请求 (PR)。每次打开新的 PR 时,您都希望创建一个专用的 Slack 频道进行讨论并发送每日提醒,直到 PR 关闭或合并。这听起来很简单,所以您可能认为可以使用基本的 Python 函数来解决它(这是 ChatGPT 生成的基本 Python 函数):

@app.route('/webhook', methods=['POST'])
def github_webhook():
    data = request.json
    if 'pull_request' in data and data['action'] == 'opened':
        pr_number = data['pull_request']['number']
        pr_url = data['pull_request']['html_url']
        # Create a new Slack channel for the PR
        channel_id = create_slack_channel(pr_number)
        send_slack_notification(channel_id, pr_number, pr_url)
        # Periodically check the PR status and send reminders until it's closed or merged
        while True:
            time.sleep(3600)  # Wait for 1 hour before checking the status again
            pr_status = check_pr_status(pr_number)
            if pr_status == 'open':
                send_slack_notification(channel_id, pr_number, pr_url)
            else:
                break
    return jsonify({'status': 'ok'})

此代码片段似乎可以处理该任务,但它只适合“快乐流程”场景。在实际应用中,这种简单的方法是不够的。 while 循环依赖于连续的服务器正常运行时间,但这是无法保证的。进程可能崩溃,服务器可能重新启动,突然之间,您的工作流程就被破坏了。

实际解决方案:事件驱动的应用程序

更可靠的方法涉及构建事件驱动的应用程序。在这里,您将使用队列来侦听 GitHub 事件,使用 cron 作业来发送提醒,使用数据库来存储 PR 和通道状态,以及使用函数来处理这些事件。通常,此设置在云基础设施上运行,利用 AWS Lambda 等服务进行部署和执行。

虽然这种方法可行且稳健,但它也需要大量的设置、维护和专业知识。管理基础设施、确保正常运行时间和处理错误状态需要大量资源和熟练的团队。

输入耐用的 Python:简单性与可靠性的结合

如果您可以将简单的 Python 代码与异步设计的可靠性结合起来会怎么样?如果 Python 能够保证即使进程崩溃或服务器重新启动,它也会从上次中断的地方继续执行怎么办?

AutoKitteh 通过 Durable Python 准确地解决了这一挑战。使用 Durable Python,用户编写 Python 代码,而系统确保如果进程重新启动,它会从同一点继续运行。虽然存在限制(例如,长时间停机可能并不理想),但对于大多数用例来说,此解决方案可以完美运行。

Durable-Python 提供什么

Durable-Python 使您无需手动管理状态,从而使您能够将工作流程编写为连续流,而不是事件驱动的状态机,而事件驱动的状态机在构建和调试方面可能具有挑战性。 AutoKitteh 作为基础设施,具有内置队列以及与外部应用程序和 API 的集成,可以轻松地在 Python 中快速开发强大的工作流程。

它是如何运作的

这并不涉及魔法——只是坚实的工程。 AutoKitteh 由 Temporal 提供支持,Temporal 是一个用于构建持久工作流程的框架。时间需要特定的编码方式,包括对确定性、幂等性和其他概念的理解,以确保可靠性。 AutoKitteh 抽象了这些复杂性,允许开发人员编写标准的 Python 代码。在幕后,任何具有副作用的函数都会转换为时间活动。作为开发人员,您不必担心这些细节 - 只需专注于编写业务逻辑。

有关更多技术细节,请参阅 AutoKitteh 文档。

有费用吗?

当然,每一个抽象都有一个价格。在底层,Durable Python 会记录工作流程,以便在发生故障后进行恢复,这会产生一些存储和性能成本。

Durable Python 专为编排 API 而设计,而不是构建数据应用程序。如果您需要高性能应用程序,您应该考虑构建自定义解决方案。但是,如果您想以最少的开发和基础设施投资快速开发可靠的工作流程,Durable Python 可能是一个不错的选择。

实际应用

耐用的Python可以应用于广泛的工作流程,特别是在可靠性至关重要的领域,例如:

  • API 编排 - 构建内部可靠的工作流程。
  • DevOps 自动化:自动化部署管道或代码审查自动化,并保证从故障中恢复。
  • ChatOps:与聊天平台集成以自动化团队通知并管理工作流程。
  • MLOps:确保长期运行的机器学习工作流程在中断的情况下仍能无缝继续。

可以在此处找到工作流程示例。

结论:更少的代码,更少的麻烦

由 AutoKitteh 提供支持的耐用 Python 概念使开发人员能够使用最少的代码构建、部署和管理可靠的工作流程自动化。持久执行和无缝恢复在幕后处理,因此您可以专注于真正重要的事情 - 您的业务逻辑。

虽然有许多优秀的工具可以实现持久性(如 Temporal 和 Restate),但 Durable-Python 提供了一种快速、简单且经济高效的方法来实现相同的结果。

版本聲明 本文轉載於:https://dev.to/haimzlato/durable-python-building-bullet-proof-long-running-workflows-made-simple-49h4?1如有侵犯,請聯絡[email protected]刪除
最新教學 更多>
  • 跨域場景下CORS何時使用預檢請求?
    跨域場景下CORS何時使用預檢請求?
    CORS:了解跨域請求的「預檢」請求跨域資源共享(CORS) 在製作HTTP 時提出了挑戰跨域請求。為了解決這些限制,引入了預檢請求作為解決方法。 預檢請求說明預檢請求是先於實際請求(例如 GET 或 POST)的 OPTIONS 請求)並用於與伺服器協商請求的權限。這些請求包含兩個附加標頭:Acc...
    程式設計 發佈於2024-11-05
  • 如何使用 PHP 的 glob() 函數以副檔名過濾檔案?
    如何使用 PHP 的 glob() 函數以副檔名過濾檔案?
    在 PHP 中以副檔名過濾檔案使用目錄時,通常需要根據副檔名擷取特定檔案。 PHP 提供了一種使用 glob() 函數來完成此任務的有效方法。 若要以副檔名過濾文件,請使用語法:$files = glob('/path/to/directory/*.extension');例如,要檢索目錄/path...
    程式設計 發佈於2024-11-05
  • 理解 JavaScript 中的 Promise 和 Promise Chaining
    理解 JavaScript 中的 Promise 和 Promise Chaining
    什麼是承諾? JavaScript 中的 Promise 就像你對未來做某事的「承諾」。它是一個對象,表示非同步任務的最終完成(或失敗)及其結果值。簡而言之,Promise 充當尚不可用但將來可用的值的佔位符。 承諾國家 Promise 可以存在於以下三種狀態之一...
    程式設計 發佈於2024-11-05
  • 安全分配
    安全分配
    今天,關於 JavaScript 中安全賦值運算子 (?=) 的新提案引起了熱烈討論。我喜歡 JavaScript 隨著時間的推移而不斷改進,但這也是我最近在某些情況下遇到的問題。我應該將快速範例實作作為函數,對吧? 如果您還沒有閱讀該提案,以下是其建議: const [error, value]...
    程式設計 發佈於2024-11-05
  • 建立隊列介面
    建立隊列介面
    建立字元隊列的介面。 需要開發的三個實作: 固定大小的線性隊列。 循環隊列(複用數組空間)。 動態隊列(根據需要成長)。 1 建立一個名為 ICharQ.java 的檔案 // 字元隊列介面。 公共介面 ICharQ { // 向佇列中插入一個字元。 void put(char...
    程式設計 發佈於2024-11-05
  • Pip 的可編輯模式何時對本機 Python 套件開發有用?
    Pip 的可編輯模式何時對本機 Python 套件開發有用?
    使用Pip 在Python 中利用可編輯模式進行本地包開發在Python 的包管理生態系統中,Pip 擁有“- e”(或'--editable') 特定場景的選項。什麼時候使用這個選項比較有利? 答案在於可編輯模式的實現,官方文件中有詳細說明:「從本地以可編輯模式安裝專案(即setu...
    程式設計 發佈於2024-11-05
  • 當您在瀏覽器中輸入 URL 時會發生什麼?
    當您在瀏覽器中輸入 URL 時會發生什麼?
    您是否想知道當您在瀏覽器中輸入 URL 並按 Enter 鍵時幕後會發生什麼?這個過程比您想像的更加複雜,涉及多個步驟,這些步驟無縫地協同工作以提供您請求的網頁。在本文中,我們將探討從輸入 URL 到查看完全載入的網頁的整個過程,闡明使這一切成為可能的技術和協定。 第 1 步:輸入...
    程式設計 發佈於2024-11-05
  • 如何有效管理大量小HashMap物件的「OutOfMemoryError:超出GC開銷限制」?
    如何有效管理大量小HashMap物件的「OutOfMemoryError:超出GC開銷限制」?
    OutOfMemoryError: Handling Garbage Collection OverheadOutOfMemoryError: Handling Garbage Collection Overhead在Java中,當過多時會出現「java.lang.OutOfMemoryError:...
    程式設計 發佈於2024-11-05
  • 為什麼在 Python 列表初始化中使用 [[]] * n 時列表會連結在一起?
    為什麼在 Python 列表初始化中使用 [[]] * n 時列表會連結在一起?
    使用[[]] * n 進行列表初始化時的列表連結問題使用[[]] 初始化列表列表時 n,程式設計師經常會遇到一個意想不到的問題,即列表似乎連結在一起。發生這種情況是因為 [x]n 語法建立對相同基礎清單物件的多個引用,而不是建立不同的清單實例。 為了說明該問題,請考慮以下代碼:x = [[]] * ...
    程式設計 發佈於2024-11-05
  • Python 變得簡單:從初學者到進階 |部落格
    Python 變得簡單:從初學者到進階 |部落格
    Python Course Code Examples This is a Documentation of the python code i used and created , for learning python. Its easy to understand and L...
    程式設計 發佈於2024-11-05
  • 簡化 TypeScript 中的類型縮小和防護
    簡化 TypeScript 中的類型縮小和防護
    Introduction to Narrowing Concept Typescript documentation explains this topic really well. I am not going to copy and paste the same descrip...
    程式設計 發佈於2024-11-05
  • 何時應該使用 session_unset() 而不是 session_destroy() ,反之亦然?
    何時應該使用 session_unset() 而不是 session_destroy() ,反之亦然?
    理解PHP 中session_unset() 和session_destroy() 的區別PHP 函數session_unset() 和session_destroy() 有不同的用途管理會話數據。儘管它們在清除會話變數方面有明顯相似之處,但它們具有不同的效果。 session_unset() 與s...
    程式設計 發佈於2024-11-05
  • 如何選擇在 C++ 中解析 INI 檔案的最佳方法?
    如何選擇在 C++ 中解析 INI 檔案的最佳方法?
    在C 中解析INI 檔案:各種方法指南在C 處理初始化(INI) 檔案時,開發人員經常遇到有效解析這些文件以提取所需資訊的挑戰。本文探討了用 C 解析 INI 檔案的不同方法,討論了它們的優點和注意事項。 本機 Windows API 函數一種方法是利用 Windows API 函數INI 檔案處理...
    程式設計 發佈於2024-11-05
  • 程式碼日:重新聚焦
    程式碼日:重新聚焦
    2024 年 8 月 19 日星期一 今天是我 100 天程式設計之旅的一半! ?除了記錄我的進步之外,我還喜歡分享學習技巧。我最喜歡的新方法之一是番茄工作法,它需要專注於一項任務 25 分鐘,然後休息 5 分鐘。四個週期後,您會休息更長的時間。這有助於保持注意力並防止倦怠。 我嘗試過 App S...
    程式設計 發佈於2024-11-05
  • 為什麼我在 Visual Studio 2015 中收到編譯器錯誤 C2280「嘗試引用已刪除的函數」?
    為什麼我在 Visual Studio 2015 中收到編譯器錯誤 C2280「嘗試引用已刪除的函數」?
    Visual Studio 2015 中編譯器錯誤C2280「嘗試引用已刪除的函數」Visual Studio 2015 編譯器與其2013 的前身不同,自動為定義移動建構函式或移動賦值運算子的類別產生刪除的複製建構函式。 C 標準強制執行此行為,以防止在首選移動的情況下發生意外複製。 在您的程式碼...
    程式設計 發佈於2024-11-05

免責聲明: 提供的所有資源部分來自互聯網,如果有侵犯您的版權或其他權益,請說明詳細緣由並提供版權或權益證明然後發到郵箱:[email protected] 我們會在第一時間內為您處理。

Copyright© 2022 湘ICP备2022001581号-3