Siehe vorherigen Beitrag: Einführung in gs-fastcopy

Ich habe die Erweiterung gs-fastcopy-python#10 ausgeliefert: Überprüfen Sie die Prozessoranzahl für bessere Upload-Standardwerte.

Zuvor waren wir standardmäßig auf 8 Mitarbeiter eingestellt (Googles Standard). Auf einem System mit mehr als 8 Kernen bleibt dadurch viel Leerlauf!

Jetzt überprüfen wir die verfügbare CPU-Anzahl. Wir berücksichtigen os.get_schedaffinity auf Systemen, die es unterstützen (Prozessoren, die für diesen Prozess nicht nur im Allgemeinen verfügbar sind), andernfalls verwenden wir os.cpu_count().

Benchmarking-Ergebnisse: [Quellenblatt]

Beachten Sie, dass das Hinzufügen von Arbeitskräften den Prozess beschleunigt, aber zu geringeren Erträgen führt. Ich denke, dann wird die Netzwerkübertragung selbst zum Engpass, aber es ist wahrscheinlich, dass auch eine Anpassung der Chunk-Größen helfen würde.

Beachten Sie auch die dramatischeren Auswirkungen bei der Verwendung von Komprimierung (mit Pigz, Parallel Gzip). pigz hätte die Max-Worker schon früher aufgegriffen, was hier neu ist, ist, sie auch in den Upload einzubeziehen.