Я пытаюсь использовать модель мета-ламы/Llama-2-7b-hf и запустить ее локально у себя, но во время процесса сеанс прервался.

Я пытаюсь использовать модель мета-ламы/Llama-2-7b-hf и запустить ее локально у себя. Для этого я использую Google Colab и получил ключ доступа от Hugging Face. Я использую их библиотеку трансформеров для необходимых задач. Первоначально я использовал стек времени выполнения графического процессора T4 в Google Colab, который обеспечивал 12,7 ГБ системной оперативной памяти, 15,0 ГБ оперативной памяти графического процессора и 78,2 ГБ дискового пространства. Несмотря на эти ресурсы, мой сеанс прервался, и я столкнулся со следующей ошибкой:

Впоследствии я перешел на стек среды выполнения TPU V2, который предлагает 334,6 ГБ системной оперативной памяти и 225,3 ГБ дискового пространства, но проблема не исчезла.

Вот мой код:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)