前の投稿を参照: gs-fastcopy の紹介

拡張機能 gs-fastcopy-python#10: アップロードのデフォルトを改善するためのプロセッサ数の検査を出荷しました。

以前は、デフォルトのワーカー数が 8 人でした (Google のデフォルト)。 8 コアを超えるシステムでは、かなりのアイドル状態が発生します!

次に、利用可能な CPU 数を調べます。 os.get_schedaffinity をサポートするシステム (一般に限らず、このプロセス で利用可能なプロセッサ) では os.get_schedaffinity を尊重します。それ以外の場合は、os.cpu_count().

ベンチマーク結果: [ソースシート]

ワーカーを追加するとプロセスがスピードアップしますが、利益は減少することに注意してください。この場合、ネットワーク転送自体がボトルネックになると思いますが、チャンク サイズを調整することも役立つ可能性があります。

圧縮を使用すると、より劇的な効果が得られることにも注目してください (pigz、並列 gzip を使用)。 pigz は以前にも最大ワーカーを取得していましたが、ここでの新機能はアップロードにもそれらを含めることです。