Impact de l'importation de Numpy sur l'attribution de noyau multiprocesse

introduction:

multiprocessement, une bibliothèque python pour les tasks de la mise en parallérisation, les tenues AIMS pour distribuer des travaux sur plusieurs cœurs. Cependant, les utilisateurs ont rencontré un problème où l'importation de Numpy interfère avec cette distribution, ce qui entraîne tous les processus de travailleurs attribués à un seul noyau.

Explication:

lors de l'importation de Numpy , certains modules à forte intensité de CPU dans Numpy (par exemple, OpenBLAS) peuvent modifier l'affinité centrale. Cette interférence attribue tous les processus de travailleur au même noyau, éliminant les avantages de parallélisation du multiprocessement. Extrait: OS.System ("Taskset -p 0xff% D"% os.getpid ()). Cette commande oblige le système d'exploitation à distribuer uniformément les processus de travailleurs sur tous les cœurs disponibles.

Considérations supplémentaires:

Pendant la compilation, modifiez l'OpenBlas MakeFile.rule pour inclure NO_AFFINITY = 1.

en appliquant ces solutions, le multiproséments peut distribuer efficacement les processus de travail sur plusieurs cœurs, Résolution du problème initial du clustering central et améliorant les performances de parallélisation.