Python의 다중 처리 로깅

Python의 다중 처리 모듈을 사용할 때 여러 프로세스가 동일한 파일 핸들을 동시에 사용합니다. 기본적으로 mp.get_logger()에서 제공하는 다중 처리 인식 로거는 sys.stderr에서 적절한 잠금 메커니즘을 보장합니다.

그러나 다중 처리를 인식하지 않는 모듈은 다중 처리 인식 로깅을 사용하기 위해 수정이 필요할 수 있습니다. 이러한 변경을 방지하려면 대체 접근 방식을 고려하십시오.

사용자 정의 로깅 처리기

한 가지 접근 방식은 파이프를 통해 상위 프로세스에 로그를 보내는 사용자 정의 로그 처리기를 만드는 것입니다. 이를 통해 상위 프로세스가 실제 로깅을 처리하는 동안 모듈은 표준 로깅 모듈을 사용할 수 있습니다. 구현은 다음과 같습니다.

from logging.handlers import RotatingFileHandler
import multiprocessing, threading, logging, sys, traceback

class MultiProcessingLog(logging.Handler):
    def __init__(self, name, mode, maxsize, rotate):
        logging.Handler.__init__(self)

        self._handler = RotatingFileHandler(name, mode, maxsize, rotate)
        self.queue = multiprocessing.Queue(-1)

        t = threading.Thread(target=self.receive)
        t.daemon = True
        t.start()

핸들러는 하위 프로세스로부터 로그 레코드를 수신하고 제공된 파일 핸들러를 사용하여 이를 파일에 씁니다. 이를 통해 종속 모듈을 변경할 필요 없이 중앙 집중식 로깅이 보장됩니다.