Estoy intentando utilizar el modelo meta-llama/Llama-2-7b-hf y ejecutarlo localmente en mis instalaciones, pero la sesión falló durante el proceso.

Estoy intentando utilizar el modelo meta-llama/Llama-2-7b-hf y ejecutarlo localmente en mis instalaciones. Para hacer esto, estoy usando Google Colab y obtuve una clave de acceso de Hugging Face. Estoy utilizando su biblioteca de transformadores para las tareas necesarias. Inicialmente, utilicé la pila de tiempo de ejecución de GPU T4 en Google Colab, que proporcionaba 12,7 GB de RAM del sistema, 15,0 GB de RAM de GPU y 78,2 GB de espacio en disco. A pesar de estos recursos, mi sesión falló y encontré el siguiente error:

Posteriormente, cambié a la pila de tiempo de ejecución TPU V2, que ofrece 334,6 GB de RAM del sistema y 225,3 GB de espacio en disco, pero el problema persistió.

Aquí está mi código:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)