Pandas는 가장 인기 있는 라이브러리 중 하나입니다. 성능을 향상할 수 있는 더 쉬운 방법을 찾다가 FireDucks를 발견하고 관심을 가지게 되었습니다!

팬더와의 비교: 왜 FireDucks인가?

Pandas 프로그램은 작성된 방식에 따라 심각한 성능 문제가 발생할 수 있습니다. 하지만 저는 데이터 과학자로서 코드 성능을 향상시키기보다는 데이터를 분석하는 데 점점 더 많은 시간을 보내고 싶습니다. 그래서 프로세스의 순서를 교환하고 프로그램 성능을 자동으로 높이는 등의 작업을 수행할 수 있다면 좋을 것입니다. 예를 들어 프로세스 A => 프로세스 B는 속도가 느려지므로 프로세스 B => 프로세스 A로 대체하겠습니다. (물론 결과는 동일함을 보장합니다.) 데이터 과학자들은 약 45%를 소비한다고 합니다. 데이터를 준비하는 시간을 쪼개서 프로세스 속도를 높일 수 있는 방법을 고민하던 중 FireDucks라는 모듈을 발견했습니다.

FireDucks 문서에 따르면 Linux 전용 플랫폼에서만 지원되는 것으로 보입니다. 저는 메인 머신에서 Windows를 사용하고 있기 때문에 Windows에서 Linux를 실행할 수 있는 환경인 WSL2(Windows Subsystem for Linux)에서 사용해 보고 싶습니다.

제가 시도한 환경은 다음과 같습니다.

• 운영체제 Microsoft Windows 11 Pro
• 버전 10.0.22631 빌드 22631
• 시스템 모델 Z690 Pro RS
• 시스템 유형 x64 기반
• PC 프로세서 12세대 Intel(R) Core(TM) i3–12100, 3300 Mhz, 4 코어, 8 논리 프로세서
• 베이스보드 제품 Z690 Pro RS
• 플랫폼 역할 데스크탑
• 설치된 물리적 메모리(RAM)64.0GB

FireDuck 설치 및 구성

WSL 설치

WSL은 다음 Microsoft 설명서의 도움으로 설치되었습니다. Linux 배포판은 Ubuntu 22.04.1 LTS입니다.

FireDuck 설치

그런 다음 실제로 FireDucks를 설치하세요. 하지만 설치가 매우 쉽습니다.
pip 설치 Fireucks

FireDucks(pyarrow, pandas 및 기타 라이브러리와 함께)를 설치하는 데 몇 분 정도 걸립니다.

아래 코드를 실행해 보았는데 로딩 속도가 너무 빨라서 pandas는 4초, fireDucks는 74.5ns밖에 걸리지 않았습니다.

# 1. analysis based on time period and creative duration
# convert timestamp to date/time object
df['timestamp_converted'] = pd.to_datetime(df['timestamp'], unit='s ')

# define time period 
def get_part_of_day(hour): 
  if 5 



이 모든 데이터 전처리 및 분석은 pandas에서는 약 8초가 소요되었지만 FireDucks를 사용하면 4초 이내에 완료될 수 있습니다. 거의 2배의 속도 향상이 가능합니다.


  
  
  성능 향상


pandas를 사용하면서 가장 스트레스를 받는 것 중 하나는 대용량 데이터 세트를 로드할 때 대기하고, 그 다음에는 groupby와 같은 복잡한 작업을 기다려야 한다는 것입니다. 반면, FireDucks는 Lazy Evaluation을 하기 때문에 로딩 자체에 시간이 전혀 걸리지 않아 필요한 곳에 처리가 이루어지는데, 전체 대기 시간이 대폭 단축되어 매우 의의가 있다고 느꼈습니다.

기타 성능은 조직이 공식 발표한 바와 같이 판다에 비해 최대 16배 빠른 속도를 달성한 것으로 보인다. (다음에는 여러 경쟁 라이브러리들과 성능을 비교해보겠습니다.)




  
  
  학습 비용 제로


아무 것도 생각할 필요 없이 정확한 팬더 표기법을 따라갈 수 있는 능력은 큰 장점입니다. FireDucks 외에도 다른 데이터 프레임 가속 라이브러리가 있지만 배우기에는 너무 비싸고 잊어버리기 쉽습니다.

예를 들어 극성이 있는 열을 추가하려면 다음과 같이 작성해야 합니다.


# pandas df["new_col"] = df["A"]   1
# polars 
df = df.with_columns((pl.col("A")   1).alias("new_col"))





  
  
  기존 코드를 변경할 필요가 거의 없음


Pandas를 사용하는 ETL과 기타 프로젝트가 여러 개 있는데, import 문을 FireDucks로 설치하고 교체하는 것만으로도 성능이 향상되면 좋을 것 같습니다.

더 추가하고 싶다면 아래에 댓글을 남겨주세요.