मैं मेटा-लामा/लामा-2-7बी-एचएफ मॉडल का उपयोग करने और इसे अपने परिसर में स्थानीय रूप से चलाने का प्रयास कर रहा हूं लेकिन प्रक्रिया के दौरान सत्र क्रैश हो गया।

मैं मेटा-लामा/लामा-2-7बी-एचएफ मॉडल का उपयोग करने और इसे अपने परिसर में स्थानीय रूप से चलाने का प्रयास कर रहा हूं। ऐसा करने के लिए, मैं Google Colab का उपयोग कर रहा हूं और हगिंग फेस से एक एक्सेस कुंजी प्राप्त की है। मैं आवश्यक कार्यों के लिए उनकी ट्रांसफॉर्मर लाइब्रेरी का उपयोग कर रहा हूं। प्रारंभ में, मैंने Google Colab पर T4 GPU रनटाइम स्टैक का उपयोग किया, जो 12.7 GB सिस्टम RAM, 15.0 GB GPU RAM और 78.2 GB डिस्क स्थान प्रदान करता था। इन संसाधनों के बावजूद, मेरा सत्र क्रैश हो गया, और मुझे निम्नलिखित त्रुटि का सामना करना पड़ा:

इसके बाद, मैंने टीपीयू वी2 रनटाइम स्टैक पर स्विच किया, जो 334.6 जीबी सिस्टम रैम और 225.3 जीबी डिस्क स्थान प्रदान करता है, लेकिन समस्या बनी रही।

यह मेरा कोड है:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)