Estou tentando usar o modelo meta-llama/Llama-2-7b-hf e executá-lo localmente em minhas instalações, mas a sessão travou durante o processo.

Estou tentando usar o modelo meta-llama/Llama-2-7b-hf e executá-lo localmente em minhas instalações. Para fazer isso, estou usando o Google Colab e obtive uma chave de acesso do Hugging Face. Estou utilizando sua biblioteca de transformadores para as tarefas necessárias. Inicialmente, usei a pilha de tempo de execução da GPU T4 no Google Colab, que fornecia 12,7 GB de RAM do sistema, 15,0 GB de RAM da GPU e 78,2 GB de espaço em disco. Apesar desses recursos, minha sessão travou e encontrei o seguinte erro:

Posteriormente, mudei para a pilha de tempo de execução TPU V2, que oferece 334,6 GB de RAM do sistema e 225,3 GB de espaço em disco, mas o problema persistiu.

Aqui está meu código:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)