Ich versuche, das Meta-Lama/Llama-2-7b-hf-Modell zu verwenden und es lokal in meinen Räumlichkeiten auszuführen, aber die Sitzung ist während des Vorgangs abgestürzt.

Ich versuche, das Modell meta-llama/Llama-2-7b-hf zu verwenden und es lokal in meinen Räumlichkeiten auszuführen. Dazu verwende ich Google Colab und habe einen Zugangsschlüssel von Hugging Face erhalten. Ich nutze ihre Transformers-Bibliothek für die notwendigen Aufgaben. Ursprünglich habe ich den T4-GPU-Laufzeitstapel von Google Colab verwendet, der 12,7 GB System-RAM, 15,0 GB GPU-RAM und 78,2 GB Festplattenspeicher bereitstellte. Trotz dieser Ressourcen stürzte meine Sitzung ab und es trat der folgende Fehler auf:

Anschließend wechselte ich zum TPU V2-Laufzeitstapel, der 334,6 GB System-RAM und 225,3 GB Festplattenspeicher bietet, aber das Problem blieb bestehen.

Hier ist mein Code:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)