Python 中的多處理日誌記錄:一個強大的解決方案
當使用Python 的多處理模組時,由於缺乏進程,日誌記錄變得更加複雜-多處理感知記錄器的共享鎖定,可能導致sys.stderr 輸出混亂。
要解決針對這項挑戰,另一種方法是建立一個自訂日誌處理程序,透過管道將輸出定向到父進程。此方法依賴佇列來處理並發並從錯誤中復原。提供的實作可確保生產環境中的穩定日誌記錄。
自訂處理程序 MultiProcessingLog 擴展了logging.Handler 類別並利用 RotatingFileHandler 來處理基於檔案的日誌記錄。它在父進程和子進程之間建立管道,允許集中儲存日誌。
實作細節:
MultiProcessingLog 處理程序使用單獨的執行緒來接收日誌記錄來自子程序並將它們轉發到父程序中的 RotatingFileHandler。這可確保日誌訊息的格式正確並寫入預期目的地。
要傳送日誌記錄,請使用 send 方法,而接收執行緒會持續監視管道中的新記錄並將其轉發到 _handler。
為了最大限度地降低不可拾取的物件導致問題的風險,處理程序在透過管道發送日誌記錄之前將 exc_info 和 args 值字串化。
發射方法被重寫以將 _format_record 呼叫包裝在 try-except 區塊中,以確保正確處理任何故障。
此自訂日誌記錄處理程序為管理多處理應用程式中的日誌提供了可靠的解決方案,提供集中的日誌儲存和錯誤復原能力。
免責聲明: 提供的所有資源部分來自互聯網,如果有侵犯您的版權或其他權益,請說明詳細緣由並提供版權或權益證明然後發到郵箱:[email protected] 我們會在第一時間內為您處理。
Copyright© 2022 湘ICP备2022001581号-3