Uno de mis principales problemas últimamente es el tamaño de la ventana de contexto de GPT-3.5 Turbo y el precio de GPT-4o; la aplicación que he creado utiliza 300.000 tokens por conversación. Agregue los costos de voz y se vuelve un poco caro.

Además, GPT-3.5 no es el modelo más inteligente y encontré mejores resultados con Claude Haiku. El problema con Haiku son los bajos límites de API y algunos problemas extraños de estabilidad.

Sin embargo, no tuve otra opción, ya que GPT-4 era demasiado costoso para mi caso de uso considerando la cantidad de tokens que uso.

Probé GPT-4o mini y quedé bastante impresionado, su razonamiento es mucho mejor que el GPT-3.5 y la ventana de contexto es de 128k, lo cual es lo suficientemente bueno para mi caso de uso (...y el bajo precio también ayuda ).

¿Has usado mini ya? ¿Cuáles son tus pensamientos y experiencias hasta ahora?