최근 직장에서 특정 사용 사례에 맞게 문장을 분류해야 했습니다. Jeremy Howard의 강의 4: 완전 초보자를 위한 NLP 시작하기를 기억하면서 저는 먼저 DEBERTA를 미세 조정하기 위해 그의 노트북을 적용했습니다.

효과는 있었지만 만족스럽지 않아서 LLAMA 3과 같은 LLM을 사용하면 어떤 일이 일어날지 궁금했습니다. 문제는 무엇인가요? 제한된 GPU 리소스. Tesla/Nvidia T4 인스턴스에만 액세스할 수 있었습니다.

연구를 통해 QLORA를 선택하게 되었습니다. QLoRA를 사용한 주식 감정의 텍스트 분류를 위한 미세 조정 LLama 3 LLM에 대한 이 튜토리얼은 특히 유용했습니다. 튜토리얼을 더 잘 이해하기 위해 강의 4를 QLORA 튜토리얼 노트에 적용했습니다.

QLORA는 두 가지 주요 기술을 사용합니다:

1. 양자화: 모델 정밀도를 줄여서 더 작게 만듭니다.
2. LORA(낮은 순위 적응): 전체 모델을 미세 조정하는 대신 훈련 가능한 작은 레이어를 추가합니다.

이를 통해 약 12GB VRAM을 사용하여 16GB VRAM T4에서 LLAMA 3 8B를 훈련할 수 있었습니다. 결과는 예측 정확도가 90%가 넘을 정도로 놀라울 정도로 좋았습니다.

Confusion Matrix:
[[83  4]
[ 4  9]]
Classification Report:
              precision    recall  f1-score   support
         0.0       0.95      0.95      0.95        87
         1.0       0.69      0.69      0.69        13
    accuracy                           0.92       100
   macro avg       0.82      0.82      0.82       100
weighted avg       0.92      0.92      0.92       100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92

다음은 프로세스를 자세히 설명하는 iPython 노트북입니다.

이 접근 방식은 제한된 하드웨어에서 대규모 언어 모델로 작업하는 것이 가능함을 보여줍니다. 제약 조건을 다루는 것은 종종 창의적인 문제 해결 및 학습 기회로 이어집니다. 이 경우에는 한계로 인해 보다 효율적인 미세 조정 기술을 탐색하고 구현하게 되었습니다.