Impacto da importação numpy na atribuição principal multiprocessante

Introdução:

MultipRocess, uma biblioteca Python para tarefas paralelas, objetivos, objetivos Para distribuir trabalho em vários núcleos. No entanto, os usuários encontraram um problema em que a importação de Numpy interfere nessa distribuição, resultando em todos os processos do trabalhador sendo atribuídos a um único núcleo. , Certos módulos intensivos em CPU em Numpy (por exemplo, OpenBlas) podem modificar a afinidade do núcleo. Essa interferência atribui todos os processos do trabalhador ao mesmo núcleo, eliminando os benefícios da paralelização do multiprocessamento. Snippet: os.system ("TaskSet -p 0xff % d" % os.getpid ()). Este comando força o sistema operacional a distribuir processos do trabalhador uniformemente em todos os núcleos disponíveis. No desempenho de Numpy, mas os efeitos podem variar dependendo de máquinas e tarefas específicas. Antes de executar o script. Resolvendo o problema inicial do agrupamento principal e melhorando o desempenho da paralelização.