Смотрите предыдущую публикацию: Знакомство с gs-fastcopy

Я выпустил усовершенствование gs-fastcopy-python#10: проверка количества процессоров для улучшения настроек загрузки по умолчанию.

Раньше по умолчанию у нас было 8 рабочих (по умолчанию Google). В системе с более чем 8 ядрами это приводит к простою!

Теперь мы проверяем количество доступных процессоров. Мы соблюдаем os.get_schedaffinity в системах, которые его поддерживают (процессоры, доступные для этого процесса не только в целом), в противном случае мы используем os.cpu_count().

Результаты сравнительного анализа: [исходный лист]

Обратите внимание, что добавление рабочих ускоряет процесс, но дает уменьшающуюся отдачу. Я думаю, что именно тогда сама сетевая передача становится более узким местом, но вполне вероятно, что настройка размеров блоков тоже поможет.

Также обратите внимание на более впечатляющие эффекты при использовании сжатия (с использованием pigz, параллельного gzip). pigz раньше бы уловил максимальное количество рабочих, но что здесь нового, так это включение их в загрузку.