Одной из моих главных проблем в последнее время является размер контекстного окна GPT-3.5 Turbo и цена GPT-4o, приложение, которое я создал, использует 300 тысяч токенов за разговор. Добавьте сюда расходы на голосовую связь, и это станет немного дороже.

Кроме того, GPT-3.5 — не самая умная модель, и с Клодом Хайку я добился лучших результатов. Проблема Haiku — низкие ограничения API и некоторые странные проблемы со стабильностью.

Однако у меня не было выбора, поскольку GPT-4 был слишком дорогим для моего варианта использования, учитывая количество используемых мной токенов.

Опробовал GPT-4o mini и был очень впечатлен, его обоснование намного лучше, чем у GPT-3.5, а контекстное окно составляет 128 КБ - что достаточно для моего варианта использования (... и низкая цена тоже помогает ).

Использовали ли вы уже mini и какие у вас на данный момент мысли и впечатления?