머신러닝(ML) 프로젝트에서 가장 중요한 구성 요소 중 하나는 버전 관리입니다. 기존 소프트웨어 개발과 달리 ML 프로젝트 관리에는 소스 코드뿐만 아니라 시간이 지남에 따라 발전하는 데이터 및 모델도 포함됩니다. 이를 위해서는 실험을 관리하고, 최상의 모델을 선택하고, 최종적으로 이를 프로덕션에 배포하기 위해 이러한 모든 구성 요소의 동기화 및 추적성을 보장하는 강력한 시스템이 필요합니다. 이 블로그 게시물에서는 ML 모델 및 실험을 효과적으로 관리하기 위한 모범 사례를 살펴보겠습니다.

ML 리소스 관리의 세 가지 원칙

기계 학습 모델을 구축할 때 관리해야 하는 세 가지 기본 리소스가 있습니다.

1. 데이터
2. 프로그램(코드)
3. 모델

이러한 각 리소스는 중요하며 서로 다른 속도로 발전합니다. 새로운 샘플이나 업데이트로 데이터가 변경되고, 모델 매개변수가 미세 조정되며, 기본 코드가 새로운 기술이나 최적화로 업데이트될 수 있습니다. 이러한 리소스를 동기화된 방식으로 함께 관리하는 것은 필수적이지만 어려운 일입니다. 따라서 각 실험을 정확하게 기록하고 추적해야 합니다.

모델 버전 관리가 필요한 이유

버전 관리는 특히 다음 요소 때문에 머신러닝에서 매우 중요합니다.

데이터 변경: 훈련 데이터, 테스트 데이터, 검증 데이터가 변경되거나 업데이트될 수 있습니다.

매개변수 수정: 모델 하이퍼파라미터는 훈련 중에 조정되어 성능을 향상시키며, 이들과 모델 성능 간의 관계를 추적해야 합니다.

모델 성능: 각 모델의 성능은 배포할 최상의 모델이 선택되도록 다양한 데이터 세트를 사용하여 일관되게 평가해야 합니다.

적절한 버전 제어가 없으면 특정 조건에서 어떤 모델이 가장 잘 작동하는지 추적할 수 없어 비효율적인 의사 결정을 내리거나 최악의 경우 차선책 모델을 배포할 위험이 있습니다.

머신러닝 프로젝트에서 모델 버전 관리 및 실험을 관리하기 위해 설명된 주요 단계는 다음과 같습니다.

1단계: 프로젝트 및 버전 이름 설정

ML 여정을 시작하기 전에 프로젝트 이름을 의미 있게 지정하세요. 프로젝트 이름은 모델의 목표를 쉽게 반영해야 하며 나중에 보는 사람이 쉽게 이해할 수 있어야 합니다. 예를 들어:

• translate_kr2en은 한국어를 영어로 번역하는 데 초점을 맞춘 프로젝트입니다.
• screen_clean 휴대폰 화면의 흠집을 감지하는 프로젝트입니다.

프로젝트 이름을 지정한 후 모델 버전 관리 시스템을 설정해야 합니다. 다음을 추적해야 합니다.

• 훈련에 사용되는 데이터
• 초매개변수
• 모델 아키텍처
• 평가 결과

이 단계를 통해 어떤 모델이 가장 잘 수행되었는지, 어떤 데이터세트나 매개변수가 성공으로 이어졌는지 빠르게 식별할 수 있습니다.

2단계: 구조화된 데이터베이스에 실험 기록

실험을 효과적으로 관리하려면 구조화된 로깅 시스템을 사용해야 합니다. 데이터베이스 스키마는 각 모델 교육 반복의 여러 측면을 기록하는 데 도움이 될 수 있습니다. 예를 들어 다음을 저장하는 테이블이 포함된 모델 관리 데이터베이스를 생성할 수 있습니다.

• 모델 이름 및 버전: 모델의 다양한 버전을 추적합니다.
• 실험 테이블: 매개변수, 데이터 경로, 평가 지표 및 모델 파일 경로를 기록합니다.
• 평가 결과: 다양한 데이터 세트에서 모델 성능을 추적합니다.

다음은 모델 관리 데이터베이스에 대한 예시 스키마입니다.

 ----------- ----------- ------------ ------------ ------------  
|Model Name |   Exp ID  | Parameters  | Eval Score | Model Path |
 ----------- ----------- ------------ ------------ ------------  
|translate_ |           |            |            | ./model/   |
|kr2en_v1   |   1       | lr:0.01    |Preci:0.78  | v1.pth     |
 ----------- ----------- ------------ ------------ ------------  

모델을 교육할 때마다 이 테이블에 항목이 추가되어 다양한 매개변수나 데이터 세트가 성능에 어떤 영향을 미치는지 추적할 수 있습니다. 이 로깅을 통해 실험의 맥락을 잃지 않도록 보장하며 이는 재현성과 버전 관리에 매우 중요합니다.

3단계: 프로덕션에서 모델 버전 추적

모델이 배포되면 버전 추적이 중단되지 않습니다. 추론 결과를 이를 생성한 모델의 특정 버전에 다시 연결하여 실제 시나리오에서 모델이 어떻게 작동하는지 모니터링해야 합니다. 예를 들어 모델이 예측을 할 때 나중에 실제 데이터를 기준으로 성능을 평가할 수 있도록 출력에 모델 버전을 기록해야 합니다.

이를 통해 모델의 동작을 다음과 같이 추적할 수 있습니다.

• 생산 데이터를 기반으로 현재 모델의 약점을 식별합니다.
• 성능 통찰력을 기반으로 미래 모델을 최적화합니다.

일관적인 버전 명명 시스템을 유지하면 성능 문제가 발생할 때 빠르게 식별하고 문제를 해결할 수 있습니다.

4단계: 모델 관리 서비스 생성

여러 환경에서 모델 및 실험의 버전 관리를 관리하는 한 가지 방법은 모델 관리 서비스를 만드는 것입니다. 이 서비스는 FastAPI 및 PostgreSQL과 같은 기술을 사용하여 구축할 수 있습니다. 모델 관리 서비스는 다음과 같습니다.

• 모델과 버전을 등록하세요.
• 실험 결과를 추적합니다.
• REST API를 제공하여 시스템에 새로운 데이터를 쿼리하거나 추가합니다.

이 아키텍처를 사용하면 구조화되고 확장 가능한 방식으로 모델 버전을 관리할 수 있습니다. 엔지니어와 데이터 과학자는 API 호출을 통해 서비스에 액세스함으로써 실험 데이터를 등록하고 검색할 수 있으므로 관리 프로세스가 더욱 협업적이고 간소화됩니다.

5단계: 파이프라인 학습과 일괄 학습

모델 학습 및 개선을 반복하면서 학습 패턴 관리가 중요해집니다. 두 가지 일반적인 학습 접근 방식이 있습니다.

파이프라인 학습 패턴: 모델은 엔드투엔드 자동화 파이프라인의 일부로 학습, 검증 및 배포됩니다. 각 단계는 기록되고 버전이 지정되어 투명성과 재현성이 보장됩니다.

배치 학습 패턴: 모델은 새로운 데이터 배치를 통해 주기적으로 학습됩니다. 각 배치에는 버전이 지정되어야 하며, 해당 모델에는 모델 버전과 데이터 배치 식별자로 태그가 지정되어야 합니다.

이러한 학습 패턴을 관리하면 시간이 지남에 따라 다양한 학습 방식이나 데이터 변경이 모델 성능에 어떤 영향을 미치는지 추적할 수 있습니다.

결론

모델 버전 관리는 성공적인 기계 학습 프로젝트의 중추입니다. 데이터, 프로그램 및 모델의 버전을 효과적으로 관리함으로써 실험을 재현하고 결과를 추적할 수 있으며 생산 모델을 쉽게 유지 관리할 수 있습니다. 구조화된 데이터베이스, RESTful 서비스 및 일관된 로깅을 채택하면 기계 학습 워크플로가 더욱 체계화되고 확장 가능해집니다.

다음 블로그에서는 학습 패턴을 관리하고 프로덕션 환경에서 최적의 성능을 발휘하기 위한 모델을 비교하는 방법에 대해 자세히 알아보겠습니다. 계속 지켜봐주세요!