팬더의 for 루프가 정말 나쁜가요? 언제 신경 써야 하나요?

소개

pandas는 계산 속도를 높이는 벡터화된 작업으로 알려져 있지만 많은 코드 예제에는 여전히 루프가 포함되어 있습니다. 문서에서는 데이터에 대한 반복을 피하라고 제안하지만 이 게시물에서는 for 루프가 벡터화된 접근 방식보다 더 나은 성능을 제공하는 시나리오를 살펴봅니다.

소형 데이터의 반복과 벡터화

For 작은 데이터의 경우 for 루프는 축 정렬, 혼합 데이터 유형 및 누락된 데이터 처리와 관련된 오버헤드로 인해 벡터화된 함수보다 성능이 뛰어날 수 있습니다. 최적화된 반복 메커니즘을 사용하는 목록 이해는 훨씬 더 빠릅니다.

혼합/객체 dtype을 사용한 작업

문자열 기반 비교:

• pandas의 문자열 작업은 객체 사용으로 인해 본질적으로 느립니다. dtypes.
• 목록 이해는 문자열 비교를 위한 벡터화된 방법보다 성능이 훨씬 뛰어납니다.

사전/목록 요소 액세스:

• 목록 이해 사전이나 목록의 열에서 값을 추출하는 데 탁월합니다.
• 지도는 다음 항목에 의존하기 때문에 제대로 작동하지 않습니다. 느린 루프 기반 구현.

정규 연산

• 목록 이해는 종종 "벡터화된" str.contains, str.extract보다 빠릅니다. 및 str.extractall 함수.
• 정규식 패턴을 사전 컴파일하고 수동으로 반복하면 추가 정보를 제공할 수 있습니다. speedups.

for 루프를 고려해야 하는 경우

DataFrames의 작은 행의 경우:

• 오버헤드가 줄어들어 벡터화된 함수보다 반복이 더 빠릅니다.

혼합 데이터 유형:

• 벡터화된 함수는 혼합 데이터 유형을 처리할 수 없으므로 루프를 더욱 효율적으로 만듭니다.

정규 표현식:

• 정규식 패턴을 사전 컴파일하고 re.search 또는 re.findall을 사용하여 반복하면 성능이 향상될 수 있습니다. 성능.

결론

벡터화된 함수는 단순성과 가독성을 제공하지만 특정 시나리오에서는 루프 기반 솔루션을 고려하는 것이 중요합니다. 성능 요구 사항에 가장 적합한 접근 방식을 결정하려면 신중한 테스트를 수행하는 것이 좋습니다.