पिछली पोस्ट देखें: जीएस-फ़ास्टकॉपी का परिचय

मैंने एन्हांसमेंट जीएस-फास्टकॉपी-पायथन#10 भेज दिया: बेहतर अपलोड डिफॉल्ट के लिए प्रोसेसर गिनती का निरीक्षण करें।

पहले, हम 8 कर्मचारियों को डिफॉल्ट कर रहे थे (Google का डिफॉल्ट)। 8 से अधिक कोर वाले सिस्टम पर, वह बहुत कुछ निष्क्रिय छोड़ रहा है!

अब, हम उपलब्ध सीपीयू गिनती का निरीक्षण करते हैं। हम उन प्रणालियों पर os.get_schedaffinity का सम्मान करते हैं जो इसका समर्थन करते हैं (इस प्रक्रिया के लिए उपलब्ध प्रोसेसर न केवल सामान्य रूप से) अन्यथा, हम os.cpu_count() का उपयोग करते हैं।

बेंचमार्किंग परिणाम: [स्रोत शीट]

ध्यान दें कि कैसे श्रमिकों को जोड़ने से प्रक्रिया तेज हो जाती है, लेकिन कम रिटर्न मिलता है। मुझे लगता है कि तभी नेटवर्क ट्रांसफर स्वयं अधिक बाधा बन जाता है, लेकिन संभावना है कि चंक आकार में बदलाव से भी मदद मिलेगी।

संपीड़न का उपयोग करते समय अधिक नाटकीय प्रभावों पर भी ध्यान दें (पिगज़, समानांतर जीज़िप का उपयोग करके)। पिगज़ ने पहले ही अधिकतम कर्मचारियों को चुन लिया होगा, यहां जो नया है वह उन्हें अपलोड में भी शामिल कर रहा है।