Python의 다중 처리 풀에서 키보드 인터럽트 처리

Python의 다중 처리 모듈에서 Pool 클래스는 작업을 여러 프로세스에 분산시키는 편리한 방법을 제공합니다. 그러나 코드 조각에서 볼 수 있듯이 풀에서 KeyboardInterrupt 이벤트를 처리하는 것은 어려울 수 있습니다.

from multiprocessing import Pool
from time import sleep
from sys import exit

def slowly_square(i):
    sleep(1)
    return i*i

def go():
    pool = Pool(8)
    try:
        results = pool.map(slowly_square, range(40))
    except KeyboardInterrupt:
        # **** THIS PART NEVER EXECUTES. ****
        pool.terminate()
        print "You cancelled the program!"
        sys.exit(1)
    print "\nFinally, here are the results: ", results

if __name__ == "__main__":
    go()

이 코드를 실행할 때 Ctrl C를 누르면 정리 프로세스가 트리거되지 않고 하위 프로세스가 무기한 실행됩니다. 이 문제를 해결하려면 다음 해결 방법을 고려하십시오.

코드에서 관찰된 동작은 Python 버그로 인한 결과입니다. threading.Condition.wait()에서 조건을 기다리는 동안에는 KeyboardInterrupt가 전송되지 않습니다. Pool.map()은 내부적으로 조건 대기를 사용하므로 인터럽트가 수신되지 않습니다.

해결책은 시간 제한을 지정할 수 있는 Pool.map_async()를 사용하는 것입니다. 충분히 긴 시간 제한(예: 9999999)을 설정하면 인터럽트가 합리적인 시간 내에 트리거되도록 할 수 있습니다.

따라서 다음을 바꾸세요.

    results = pool.map(slowly_square, range(40))

다음:

    results = pool.map_async(slowly_square, range(40)).get(9999999)

이 해결 방법은 다중 처리 풀에서 KeyboardInterrupt 이벤트를 적절하게 처리하는 방법을 제공하여 사용자가 프로그램을 취소할 때 모든 하위 프로세스를 종료할 수 있도록 합니다.