"일꾼이 일을 잘하려면 먼저 도구를 갈고 닦아야 한다." - 공자, 『논어』.
첫 장 > 프로그램 작성 > 내구성 있는 Python: 강력한 장기 실행 워크플로 구축을 단순화

내구성 있는 Python: 강력한 장기 실행 워크플로 구축을 단순화

2024-11-05에 게시됨
검색:452

Durable Python: Building Bullet-Proof Long-Running Workflows, Made Simple

현대 소프트웨어 개발에서는 다양한 서비스의 API를 연결하고 동기 및 비동기 이벤트를 모두 처리하는 강력한 워크플로를 만드는 것이 일반적인 과제입니다. 기존 접근 방식에는 대기열, 마이크로서비스 및 상태 관리 시스템을 혼합하여 사용하여 확장 가능한 애플리케이션을 구축하는 것이 포함됩니다. 이 아키텍처는 효과적이기는 하지만 메시지 대기열과 같은 인프라 설정 및 유지 관리, 서버 또는 람다 기능 실행, 데이터베이스 상태 관리, 복잡한 오류 처리 메커니즘 구현 등 상당한 오버헤드를 수반합니다.

이 모든 인프라를 관리하는 번거로움 없이 장기 실행 워크플로를 처리할 수 있는 더 간단하고 안정적인 방법이 있다면 어떨까요? 이것이 내구성 있는 Python의 목표입니다. 사용해 보려면 베타에 등록하세요.

장기 실행 프로세스에 대한 순진한 솔루션의 문제점

GitHub에서 PR(풀 요청)을 모니터링한다고 가정해 보세요. 새 PR이 열릴 때마다 토론을 위한 전용 Slack 채널을 만들고 PR이 닫히거나 병합될 때까지 매일 알림을 보내고 싶습니다. 간단하게 들리므로 기본 Python 함수로 문제를 해결할 수 있다고 생각할 수도 있습니다(ChatGPT에서 생성된 기본 Python 함수는 다음과 같습니다).

@app.route('/webhook', methods=['POST'])
def github_webhook():
    data = request.json
    if 'pull_request' in data and data['action'] == 'opened':
        pr_number = data['pull_request']['number']
        pr_url = data['pull_request']['html_url']
        # Create a new Slack channel for the PR
        channel_id = create_slack_channel(pr_number)
        send_slack_notification(channel_id, pr_number, pr_url)
        # Periodically check the PR status and send reminders until it's closed or merged
        while True:
            time.sleep(3600)  # Wait for 1 hour before checking the status again
            pr_status = check_pr_status(pr_number)
            if pr_status == 'open':
                send_slack_notification(channel_id, pr_number, pr_url)
            else:
                break
    return jsonify({'status': 'ok'})

이 코드 조각은 작업을 처리하는 것처럼 보이지만 "행복한 흐름" 시나리오에만 적합합니다. 실제 애플리케이션에서는 이러한 순진한 접근 방식이 부족합니다. while 루프는 지속적인 서버 가동 시간에 의존하지만 이는 보장되지 않습니다. 프로세스가 중단되고 서버가 다시 시작될 수 있으며 갑자기 작업 흐름이 중단될 수 있습니다.

실제 솔루션: 이벤트 기반 애플리케이션

보다 안정적인 접근 방식에는 이벤트 중심 애플리케이션을 구축하는 것이 포함됩니다. 여기에서는 대기열을 사용하여 GitHub 이벤트를 수신하고, cron 작업을 사용하여 미리 알림을 보내고, 데이터베이스를 사용하여 PR 및 채널 상태를 저장하고, 함수를 사용하여 이러한 이벤트를 처리합니다. 일반적으로 이 설정은 배포 및 실행을 위해 AWS Lambda와 같은 서비스를 활용하여 클라우드 인프라에서 실행됩니다.

이 방법은 실행 가능하고 강력하지만 상당한 설정, 유지 관리 및 전문 지식이 필요합니다. 인프라 관리, 가동 시간 보장, 오류 상태 처리에는 상당한 리소스와 숙련된 팀이 필요합니다.

내구성 있는 Python을 만나보세요: 단순성과 신뢰성이 만나다

순진한 Python 코드의 단순성과 비동기식 디자인의 안정성을 결합할 수 있다면 어떨까요? 프로세스가 충돌하거나 서버가 다시 시작되더라도 Python이 중단된 부분부터 다시 시작하도록 보장할 수 있다면 어떨까요?

AutoKitteh는 내구성 있는 Python을 통해 이러한 문제를 정확하게 해결합니다. 내구성 있는 Python을 사용하여 사용자는 Python 코드를 작성하고 시스템은 프로세스가 다시 시작되면 동일한 지점에서 계속 실행되도록 보장합니다. 제한 사항이 있지만(예: 긴 가동 중지 시간은 이상적이지 않을 수 있음) 대부분의 사용 사례에서 이 솔루션은 완벽하게 작동합니다.

내구성 있는 Python이 제공하는 것

Durable-Python을 사용하면 수동으로 상태를 관리할 필요가 없으므로 워크플로를 빌드 및 디버깅이 어려울 수 있는 이벤트 중심 상태 머신이 아닌 연속 흐름으로 작성할 수 있습니다. 인프라로서 AutoKitteh에는 대기열이 내장되어 있고 외부 애플리케이션 및 API와의 통합이 있어 Python에서 강력한 워크플로를 쉽고 빠르게 개발할 수 있습니다.

작동 방식

마법은 필요하지 않습니다. 견고한 엔지니어링만 있으면 됩니다. AutoKitteh는 내구성 있는 워크플로를 구축하기 위한 프레임워크인 Temporal을 기반으로 합니다. 시간적에는 결정론, 멱등성 및 신뢰성을 보장하는 기타 개념에 대한 이해를 포함하여 특정 코딩 방식이 필요합니다. AutoKitteh는 이러한 복잡성을 추상화하여 개발자가 표준 Python 코드를 작성할 수 있도록 합니다. 내부적으로는 부작용이 있는 모든 기능이 임시 활동으로 변환됩니다. 개발자는 이러한 세부 사항에 대해 걱정할 필요가 없습니다. 비즈니스 로직 작성에만 집중하세요.

자세한 기술 정보는 AutoKitteh 설명서를 참조하세요.

비용이 있나요?

물론 모든 추상화에는 대가가 있습니다. 내부적으로 내구성 있는 Python은 워크플로의 흐름을 기록하여 오류 후 복구를 가능하게 하며 이로 인해 일부 스토리지 및 성능 비용이 발생합니다.

Durable Python은 데이터 애플리케이션 구축보다는 API 조정을 위해 설계되었습니다. 고성능 애플리케이션이 필요한 경우 맞춤형 솔루션 구축을 고려해야 합니다. 그러나 최소한의 개발 및 인프라 투자로 안정적인 워크플로를 빠르게 개발하려면 내구성 있는 Python이 좋은 선택이 될 수 있습니다.

실제 응용 프로그램

Durable Python은 특히 다음과 같이 안정성이 중요한 도메인에서 광범위한 워크플로에 적용될 수 있습니다.

  • API 조정 - 안정적인 내부 워크플로를 구축합니다.
  • DevOps 자동화: 실패 복구를 보장하여 배포 파이프라인 또는 코드 검토 자동화를 자동화합니다.
  • ChatOps: 채팅 플랫폼과 통합하여 팀 알림을 자동화하고 워크플로를 관리합니다.
  • MLOps: 중단에도 불구하고 장기 실행 기계 학습 워크플로가 원활하게 계속되도록 보장합니다.

워크플로의 예는 여기에서 찾을 수 있습니다.

결론: 코드가 적고 번거로움이 적습니다.

AutoKitteh를 기반으로 구현된 내구성 있는 Python 개념을 통해 개발자는 최소한의 코드로 안정적인 워크플로 자동화를 구축, 배포 및 관리할 수 있습니다. 내구성 있는 실행과 원활한 복구가 백그라운드에서 처리되므로 진정으로 중요한 것, 즉 비즈니스 로직에 집중할 수 있습니다.

내구성을 달성하기 위한 우수한 도구(예: Temporal 및 Restate)가 많이 있지만, 내구성-Python은 동일한 결과를 달성할 수 있는 빠르고 간단하며 비용 효율적인 방법을 제공합니다.

릴리스 선언문 이 기사는 https://dev.to/haimzlato/durable-python-building-bullet-proof-long-running-workflows-made-simple-49h4?1에서 복제됩니다. 침해 사항이 있는 경우, Study_golang@163으로 문의하시기 바랍니다. .com에서 삭제하세요
최신 튜토리얼 더>

부인 성명: 제공된 모든 리소스는 부분적으로 인터넷에서 가져온 것입니다. 귀하의 저작권이나 기타 권리 및 이익이 침해된 경우 자세한 이유를 설명하고 저작권 또는 권리 및 이익에 대한 증거를 제공한 후 이메일([email protected])로 보내주십시오. 최대한 빨리 처리해 드리겠습니다.

Copyright© 2022 湘ICP备2022001581号-3