최근 내 주요 문제 중 하나는 GPT-3.5 Turbo의 컨텍스트 창 크기와 GPT-4o의 가격입니다. 제가 만든 앱은 대화당 300,000개의 토큰을 사용합니다. 음성 비용을 추가하면 조금 비싸집니다.

게다가 GPT-3.5는 가장 똑똑한 모델이 아니며 Claude Haiku를 사용하여 더 나은 결과를 찾았습니다. Haiku의 문제는 낮은 API 제한과 이상한 안정성 문제입니다.

하지만 내가 사용하는 토큰의 양을 고려하면 GPT-4는 사용 사례에 비해 너무 비싸기 때문에 선택의 여지가 없었습니다.

GPT-4o mini를 사용해 보고 상당히 감동받았습니다. 추론이 GPT-3.5보다 훨씬 낫고 컨텍스트 창은 128k입니다. 이는 내 사용 사례에 충분합니다(...그리고 저렴한 가격도 도움이 됩니다) ).

mini를 사용해보신 적이 있나요? 지금까지의 생각과 경험은 어떠신가요?