أحاول استخدام نموذج meta-llama/Llama-2-7b-hf وتشغيله محليًا في مقر عملي ولكن الجلسة تعطلت أثناء العملية.

أحاول استخدام نموذج meta-llama/Llama-2-7b-hf وتشغيله محليًا في مقر عملي. للقيام بذلك، أستخدم Google Colab وحصلت على مفتاح الوصول من Hugging Face. أنا أستخدم مكتبة المحولات الخاصة بهم للمهام الضرورية. في البداية، استخدمت مكدس وقت تشغيل GPU T4 على Google Colab، والذي يوفر 12.7 جيجابايت من ذاكرة الوصول العشوائي للنظام، و15.0 جيجابايت من ذاكرة الوصول العشوائي GPU، و78.2 جيجابايت من مساحة القرص. على الرغم من هذه الموارد، تعطلت جلستي، وواجهت الخطأ التالي:

بعد ذلك، قمت بالتبديل إلى حزمة وقت التشغيل TPU V2، والتي توفر 334.6 جيجابايت من ذاكرة الوصول العشوائي للنظام و225.3 جيجابايت من مساحة القرص، ولكن المشكلة استمرت.

هذا هو الكود الخاص بي:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)