Registro con multiprocesamiento en Python: una solución sólida

Cuando se utiliza el módulo de multiprocesamiento de Python, el registro se vuelve más complejo debido a la falta de procesos. bloqueos compartidos para el registrador compatible con multiprocesamiento, lo que podría provocar una salida de sys.stderr codificada.

Para abordar este desafío, un enfoque alternativo es crear un controlador de registro personalizado que dirija la salida al proceso principal a través de una tubería. Este método se basa en una cola para manejar la simultaneidad y recuperarse de errores. La implementación proporcionada garantiza un registro estable en entornos de producción.

El controlador personalizado, MultiProcessingLog, extiende la clase logging.Handler y aprovecha un RotatingFileHandler para manejar el registro basado en archivos. Establece una tubería entre los procesos principal e secundario, lo que permite un almacenamiento de registros centralizado.

Detalles de implementación:

El controlador MultiProcessingLog emplea un hilo separado para recibir registros desde procesos secundarios y reenviarlos al RotatingFileHandler en el proceso principal. Esto garantiza que los mensajes de registro tengan el formato correcto y se escriban en el destino previsto.

Para enviar registros de registro, se utiliza el método de envío, mientras que el hilo de recepción monitorea continuamente la canalización en busca de nuevos registros y los reenvía al _handler.

Para minimizar el riesgo de que los objetos que no se pueden seleccionar causen problemas, el controlador encadena los valores exc_info y args en el registro antes de enviarlo a través de la canalización.

El método emit se anula para ajustar la llamada _format_record en un bloque try-except para garantizar que cualquier falla se maneje adecuadamente.

Este controlador de registro personalizado proporciona una solución confiable para administrar registros en aplicaciones multiprocesamiento, ofreciendo almacenamiento de registros centralizado y capacidades de recuperación de errores.