"일꾼이 일을 잘하려면 먼저 도구를 갈고 닦아야 한다." - 공자, 『논어』.
첫 장 > 프로그램 작성 > gs-fastcopy: 업로드 작업자의 CPU 수를 가져옵니다.

gs-fastcopy: 업로드 작업자의 CPU 수를 가져옵니다.

2024-08-09에 게시됨
검색:746

이전 게시물 보기: gs-fastcopy 소개

향상된 gs-fastcopy-python#10: 더 나은 업로드 기본값을 위한 프로세서 수 검사를 출시했습니다.

이전에는 기본적으로 작업자가 8명이었습니다(Google의 기본값). 코어가 8개 이상인 시스템에서는 유휴 상태가 많이 발생합니다!

이제 사용 가능한 CPU 수를 검사합니다. 우리는 이를 지원하는 시스템(일반적으로 이 프로세스에 사용할 수 있는 프로세서)에서 os.get_schedaffinity를 존중합니다. 그렇지 않으면 os.cpu_count()를 사용합니다.

벤치마킹 결과: [소스 시트]

Bar chart showing time taken to complete upload operation, with and without compressing first

직원을 추가하면 프로세스 속도가 빨라지지만 수익이 감소하는 것을 확인하세요. 이때는 네트워크 전송 자체가 병목 현상을 더 많이 발생시키는 경우라고 생각하지만, 청크 크기를 조정하는 것도 도움이 될 가능성이 높습니다.

또한 압축을 사용할 때(pigz, 병렬 gzip 사용) 더 극적인 효과에 주목하세요. pigz는 이전에도 최대 작업자 수를 파악했지만 여기서 새로운 점은 이를 업로드에도 포함한다는 것입니다.

릴리스 선언문 이 글은 https://dev.to/dchaley/gs-fastcopy-get-cpu-count-for-upload-workers-3ke7?1 에서 복제되었습니다. 침해 내용이 있는 경우, [email protected]으로 연락하여 삭제하시기 바랍니다. 그것
최신 튜토리얼 더>

부인 성명: 제공된 모든 리소스는 부분적으로 인터넷에서 가져온 것입니다. 귀하의 저작권이나 기타 권리 및 이익이 침해된 경우 자세한 이유를 설명하고 저작권 또는 권리 및 이익에 대한 증거를 제공한 후 이메일([email protected])로 보내주십시오. 최대한 빨리 처리해 드리겠습니다.

Copyright© 2022 湘ICP备2022001581号-3