Eines meiner Hauptprobleme in letzter Zeit ist die Kontextfenstergröße von GPT-3.5 Turbo und der Preis von GPT-4o. Die von mir erstellte App verwendet 300.000 Token pro Konversation. Rechnet man noch die Sprachkosten hinzu, wird es etwas teuer.

Außerdem ist GPT-3.5 nicht das intelligenteste Modell und ich habe mit Claude Haiku bessere Ergebnisse erzielt. Das Problem mit Haiku sind die niedrigen API-Limits und einige seltsame Stabilitätsprobleme.

Ich hatte jedoch keine andere Wahl, da GPT-4 angesichts der Menge der von mir verwendeten Token für meinen Anwendungsfall zu teuer war.

Ich habe GPT-4o mini ausprobiert und war ziemlich beeindruckt. Die Argumentation ist viel besser als bei GPT-3.5 und das Kontextfenster ist 128 KB groß – was für meinen Anwendungsfall gut genug ist (... und der niedrige Preis hilft auch ).

Haben Sie Mini schon verwendet und was sind Ihre Gedanken und Erfahrungen bisher?