Subprocesamiento versus multiprocesamiento: diferencias y casos de uso

El multiproceso y el multiprocesamiento son dos técnicas para ejecutar partes de código simultáneamente en Python. Si bien ambos comparten el objetivo de mejorar el rendimiento, existen claras diferencias en su implementación e idoneidad para diversas tareas.

Conceptos principales

• Temas: Creado dentro de un solo proceso y comparte el mismo espacio de memoria.
• Procesos: Entidades aisladas que tienen su propio espacio de memoria e interactúan a través de interprocesos comunicación (IPC).

Compartir datos

• Los hilos pueden acceder y modificar datos compartidos, mientras que los procesos requieren mecanismos explícitos para el intercambio de datos.

GIL (Bloqueo global de intérprete)

• El intérprete CPython de Python tiene un GIL que evita que varios subprocesos ejecuten código Python simultáneamente.
• Esta limitación puede dificultar la ejecución paralela, especialmente en tareas vinculadas a la CPU.
• Los procesos no están sujetos al GIL.

Gestión de recursos

• Crear y destruir subprocesos es más barato y más rápido que procesos.
• Los procesos pueden consumir recursos significativos cuando se usan en grandes cantidades o cuando se comunican con frecuencia.

Cuándo usar subprocesos y procesos

• Subprocesos: Adecuado para tareas que:

  • Requieren capacidad de respuesta en tiempo real (por ejemplo, manejo de eventos GUI)
  • No implican cálculos pesados
  • Puede compartir datos fácilmente

• Procesos: Preferible para tareas que:

  • Requieren un uso intensivo de la CPU
  • Tienen mucha memoria requisitos
  • Involucran datos confidenciales o aislados
  • No son críticos en el tiempo

Colas para ejecución paralela

Puede usar colas (por ejemplo, threading.Queue o multiprocessing.Queue) para administrar un grupo de trabajos y limitar el número de tareas ejecutadas simultáneamente:

# Create a queue
queue = multiprocessing.Queue()

# Initialize a process pool
pool = multiprocessing.Pool(4)

# Submit jobs to the pool
for job_argument in job_list:
    pool.apply_async(job, (job_argument,), callback=queue.put)

# Retrieve results from the queue
while not queue.empty():
    result = queue.get()
    # Process result...

Recursos adicionales

• [Multithreading versus multiprocesamiento en Python](https://realpython.com/python-multithreading/ )
• [Uso del módulo Concurrent.futures en Python](https://realpython.com/concurrent-futures-in-python/)
• [Simultaneidad y paralelismo de Python](https://www.coursera.org/specializations/python-concurrency-parallelism )