Partage d'une file d'attente de résultats entre plusieurs processus à l'aide de multiprocessing.Manager

En multitraitement, le partage d'une file d'attente entre les processus parent et enfant est essentiel pour la communication et la récupération des résultats. Cependant, l'utilisation de apply_async pour démarrer des processus de travail asynchrones présente des défis en matière de partage de files d'attente.

Pour surmonter l'erreur « Les objets de file d'attente ne doivent être partagés qu'entre les processus via l'héritage », nous pouvons utiliser multiprocessing.Manager. Cette classe de gestionnaire permet la création et la gestion de ressources partagées, y compris les files d'attente.

En enfermant notre création de file d'attente dans le contexte multiprocessing.Manager(), nous pouvons la rendre accessible à tous les travailleurs. Voici comment modifier le code :

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=3)
    m = multiprocessing.Manager()
    q = m.Queue()
    workers = pool.apply_async(worker, (33, q))

Désormais, chaque travailleur peut interagir avec l'objet q partagé et rapporter les résultats au processus de base. Cette approche permet une communication efficace et fiable des résultats tout en conservant la nature asynchrone de apply_async.