Impact of Numpy Import on Multiprocessing Core Assignment

Introduction:

Multiprocessing, a Python library for parallelizing tasks, aims Arbeiten über mehrere Kerne hinweg verteilen. Benutzer haben jedoch auf ein Problem gestoßen, bei dem Numpys Import diese Verteilung beeinträchtigt und dazu führt, dass alle Arbeitsprozesse einem einzigen Kern zugewiesen werden. bestimmte CPU-intensive Module in Numpy (z. B. OpenBLAs) können die Kernaffinität verändern. Diese Interferenz weist alle Arbeiterprozesse demselben Kern zu und beseitigt die Parallelisierungsvorteile der Multiprocessing. Snippet: OS.System ("Taskset -P 0xff % d" % os.getPID ()). Dieser Befehl erzwingt das Betriebssystem, um Arbeitsprozesse gleichmäßig auf alle verfügbaren Kerne zu verteilen. Zu Numpys Leistung, aber die Effekte können je nach spezifischen Maschinen und Aufgaben variieren.

Alternative Lösungen:

Setzen Sie die Umgebungsvariable Openblas_Main_free = 1 1 1 1 Vor dem Ausführen des Skripts. Während der Kompilierung ändern Sie die Openblas makefile.rule so, dass NO_AFFINITÄT = 1.