كنت بحاجة مؤخرًا إلى تصنيف الجمل لحالة استخدام معينة في العمل. عندما أتذكر درس جيريمي هوارد 4: البدء في البرمجة اللغوية العصبية للمبتدئين، قمت أولاً بتعديل دفتر ملاحظاته لضبط ديبرتا.

لقد نجح الأمر، ولكن ليس بما يرضيني، لذلك كنت أشعر بالفضول عما سيحدث إذا استخدمت ماجستير في القانون مثل LLAMA 3. المشكلة؟ موارد GPU محدودة. لم يكن لدي سوى إمكانية الوصول إلى مثيل Tesla/Nvidia T4.

قادني البحث إلى QLORA. كان هذا البرنامج التعليمي حول الضبط الدقيق LLama 3 LLM لتصنيف النص لمشاعر الأسهم باستخدام QLoRA مفيدًا بشكل خاص. لفهم البرنامج التعليمي بشكل أفضل، قمت بتعديل الدرس 4 في دفتر QLORA التعليمي.

تستخدم QLORA تقنيتين رئيسيتين:

1. التكميم: يقلل من دقة النموذج، مما يجعله أصغر.
2. LORA (التكيف منخفض الرتبة): يضيف طبقات صغيرة قابلة للتدريب بدلاً من ضبط النموذج بأكمله.

سمح لي هذا بتدريب LLAMA 3 8B على VRAM T4 بسعة 16 جيجابايت، باستخدام حوالي 12 جيجابايت من VRAM. وكانت النتائج جيدة بشكل مدهش، حيث تجاوزت دقة التنبؤ 90%.

Confusion Matrix:
[[83  4]
[ 4  9]]
Classification Report:
              precision    recall  f1-score   support
         0.0       0.95      0.95      0.95        87
         1.0       0.69      0.69      0.69        13
    accuracy                           0.92       100
   macro avg       0.82      0.82      0.82       100
weighted avg       0.92      0.92      0.92       100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92

إليك دفتر iPython الذي يعرض تفاصيل العملية.

يوضح هذا الأسلوب أنه من الممكن العمل مع نماذج اللغات الكبيرة على أجهزة محدودة. غالبًا ما يؤدي العمل مع القيود إلى حل المشكلات بشكل إبداعي وفرص التعلم. في هذه الحالة، دفعتني القيود إلى استكشاف وتنفيذ تقنيات ضبط أكثر كفاءة.