راجع المنشور السابق: تقديم gs-fastcopy

لقد قمت بشحن التحسين gs-fastcopy-python#10: فحص عدد المعالجات لتحسين إعدادات التحميل الافتراضية.

في السابق، كنا نفترض أن العدد الافتراضي هو 8 عمال (الافتراضي لدى Google). في نظام يحتوي على أكثر من 8 مراكز، يؤدي ذلك إلى ترك الكثير من الخمول!

الآن، نقوم بفحص عدد وحدات المعالجة المركزية المتاحة. نحن نحترم os.get_schedaffinity على الأنظمة التي تدعمه (المعالجات المتاحة لـ هذه العملية وليس فقط بشكل عام) وإلا فإننا نستخدم os.cpu_count().

نتائج المقارنة المعيارية: [ورقة المصدر]

لاحظ كيف تؤدي إضافة العمال إلى تسريع العملية، ولكنها تؤدي إلى عوائد متناقصة. أعتقد أن هذا هو الوقت الذي يصبح فيه النقل عبر الشبكة نفسه بمثابة عنق الزجاجة، ولكن من المحتمل أن التغيير والتبديل في أحجام القطع سيساعد أيضًا.

لاحظ أيضًا التأثيرات الأكثر دراماتيكية عند استخدام الضغط (باستخدام Pigz وgzip المتوازي). كان Pigz قد التقط الحد الأقصى من العمال من قبل، والجديد هنا هو تضمينهم في التحميل أيضًا.