Le Chat de Mistral ha estado ganando terreno dentro de la comunidad de chatbots de IA, y algunos observadores lo etiquetan como un rival potencial de ChatGPT.

¿Pero este incipiente chatbot de IA realmente merece el título? ¿Es Le Chat de Mistral mejor que ChatGPT?

¿Qué es Le Chat de Mistral AI?

Le Chat es un chatbot conversacional de IA desarrollado por la startup francesa de IA Mistral AI. Está impulsado por varios modelos de lenguaje grandes propiedad de Mistral, incluidos Mistral Large, Mistral Small y Mistral Next, los cuales puede elegir utilizar al interactuar con el chatbot de IA. Aunque es un participante relativamente nuevo en el espacio de los chatbots de IA, tiene una alta calificación debido al rendimiento de sus modelos de IA a pesar de su tamaño más pequeño en comparación con los pesos pesados ​​de la industria como Gemini y GPT-4.

Para entender lo que esto significa, imagina que estás jugando con bloques de construcción. Cuantos más bloques tengas, más estructuras complejas y detalladas podrás construir, ¿verdad? Los modelos de AI Language son un poco así. Vienen en tamaños, generalmente expresados ​​en recuentos de parámetros. Es posible que haya escuchado términos como "parámetros 7B" o "parámetros 70B" en los modelos de IA. El recuento de parámetros es como la cantidad de componentes básicos que tiene el modelo para comprender y generar respuestas. Entonces, si un modelo de lenguaje tiene más parámetros, puede comprender y generar mejores y más complejas respuestas.

Ahora, mientras que GPT-4 tiene un estimado de 1,76 billones de parámetros, se estima que Mistral AI tiene entre 7 y 56 mil millones de parámetros. ¿Ves la diferencia de tamaño? Entonces, la capacidad de Mistral AI para publicar un rendimiento decente es una de las razones del revuelo.

Aunque Le Chat no disfruta del nivel de publicidad que disfruta ChatGPT ni del valor de marca de empresas como Gemini, se ha abierto camino en la conversación cada vez que se discute una posible competencia de ChatGPT. ¿Pero merece un lugar en la mesa?

Me he estado preguntando lo mismo y, para descubrirlo, probé Le Chat exhaustivamente para ver cómo se compara con ChatGPT.

Le Chat vs. ChatGPT: Creatividad

La creatividad es una de las métricas más importantes para juzgar el rendimiento de un chatbot conversacional de IA. Recuerde, el propósito de un chatbot de IA es replicar o imitar las habilidades conversacionales y el talento creativo de los humanos a escala. Esto hace que la creatividad sea una fortaleza muy importante para cualquier chatbot de IA. El mundo ha experimentado con ChatGPT durante más de un año y sus habilidades creativas son innegables. ¿Pero cómo se compara Le Chat? Sometimos ambos chatbots a una serie de pruebas de creatividad.

Comencé preguntándoles a ambos chatbots: "¿Cómo te describirías ante un artista?" para probar su capacidad de usar palabras creativas e imaginativas para conceptualizarse a sí mismos.

Así es como ChatGPT se describiría a sí mismo ante un artista:

Y así es como Le Chat también se describiría a sí mismo:

Ambas respuestas fueron apropiadas en sus propias maneras únicas. ChatGPT invirtió más en el uso de imágenes vívidas y metáforas para describirse a sí mismo, demostrando talento creativo. Por otro lado, la respuesta de Le Chat es muy informativa y se centra en describir su esencia como un chatbot de IA. Algunos pueden decir que carece del estilo creativo y el enfoque artístico que exhibe la respuesta de ChatGPT. Sin embargo, me arriesgaré a decir que prefiero la respuesta más fácil de imaginar de Le Chat a la descripción abstracta de ChatGPT.

Luego le pedí a ChatGPT y Le Chat que escribieran una canción de rap sobre cómo hacerse rico cultivando pepinos, una solicitud complicada que hemos utilizado para probar la creatividad de otros chatbots. ¿Cuántas canciones de rap puedes encontrar sobre pepinos en la web?

Aquí está la respuesta de ChatGPT:

Y aquí está la respuesta de Le Chat:

Puede que sea un problema subjetivo, pero la respuesta de ChatGPT parecía la mejor opción aquí . La letra de Le Chat parecía bastante prolija y realmente no se leía como algo que un rapero publicaría. Para probar cómo sonarían ambas letras si se convirtieran en música, utilizamos el generador de música Suno AI para generar música a partir de las letras. En tres de cada tres pruebas, las letras de ChatGPT sonaban mucho mejor. A continuación se muestran dos ejemplos de ambos chatbots de IA; usted puede juzgar qué chatbot funcionó mejor.

Muestras generadas a partir de las letras de ChatGPT

Muestra 1:

Muestra 2:

Muestras generadas a partir de las letras de Mistral Le Chat

Muestra 1 :

Muestra 2:

Probé algunas otras tareas creativas, como poemas, redacción de artículos y redacción de correos electrónicos de trabajo complicados con los chatbots de IA. A pesar de mostrar una gran promesa, Le Chat fue claramente superado por ChatGPT en todos los casos. Es importante señalar que un área en la que Le Chat fue particularmente fuerte fue en la elaboración de artículos, aunque con algunos estilos de indicaciones complicados. Sin embargo, en términos de creatividad integral, la medalla es para ChatGPT.

Le Chat vs. ChatGPT: habilidades de programación

El dominio de la codificación se ha convertido en un requisito clave para los principales chatbots de IA. Escribir código decente es una habilidad básica, pero para destacar verdaderamente entre la élite, un chatbot de IA debe demostrar su destreza en la elaboración de código que pueda resolver eficazmente una amplia gama de problemas complejos. Anteriormente, creamos una aplicación web completa desde cero utilizando ChatGPT, lo que demuestra sus notables capacidades como herramienta de programación. Pero, ¿qué tan bueno es Le Chat escribiendo código?

Encargué a ambos chatbots que escribieran una aplicación de lista de tareas sencilla utilizando CSS, HTML y JavaScript. ChatGPT no tuvo problemas para producir buenos resultados. Copié el código generado y lo obtuve una vista previa en un navegador, y esto es lo que creó ChatGPT:

Cada vez que repetimos el mensaje, ChatGPT creó una aplicación funcional de lista de tareas pendientes usando diferentes estilos. En ningún caso el código generado dejó de funcionar.

Cuando probé el mismo mensaje con Le Chat, generó lo que parecía ser un código inteligible, pero cuando intentamos ejecutarlo en un navegador, no funcionó. Después de repetir el mensaje tres veces, ninguna instancia produjo código que pudiera completar la tarea establecida. Falló en una de las tareas de codificación más básicas: ¡bandera roja!

Por supuesto, no juzgaré a Le Chat por una sola prueba fallida. A continuación, pedí a ambos chatbots que generaran código JavaScript y PHP para cifrar y descifrar texto. En esta segunda prueba, tanto ChatGPT como Le Chat produjeron un código funcional que podía realizar la tarea establecida. Sin embargo, la versión de Le Chat parecía lo que escribiría un programador principiante sin experiencia. El código de ChatGPT, por otro lado, era más completo y parecía escrito por un programador experimentado.

Repetí algunas pruebas de programación más que implicaban encontrar y corregir errores, y ChatGPT superó consistentemente a Le Chat. En algunos casos, Le Chat ni siquiera sabía lo que debía hacer. Hay muchas posibilidades de que Le Chat pueda estar a la altura de ChatGPT en algunas áreas, pero las habilidades de codificación no parecen ser una de ellas.

Le Chat vs. ChatGPT: sentido común y razonamiento lógico

Un giro interesante con los chatbots de IA es su capacidad para resolver tareas complejas con facilidad, pero fallan en las simples que requieren sentido común básico para completarse . Muchos chatbots, tanto los establecidos como ChatGPT como los nuevos como Le Chat, tienen dificultades cuando se trata de resolver tareas que requieren sentido común y razonamiento lógico al estilo humano. Entonces, ¿cómo se comparan Le Chat y ChatGPT en este frente?

Les pregunté a ambos chatbots: "Si tienes una botella de 3 litros y una de 5 litros, ¿cómo puedes medir 4 litros de agua usando las botellas de 3 y 5 litros?"

ChatGPT resolvió el problema con estilo:

Le Chat intentó la misma tarea y pudo resolver el problema, aunque utilizando un enfoque diferente.

Ambos chatbots tuvieron un rendimiento comparable en esta prueba.

A continuación, les hicimos a ambos chatbots una pregunta capciosa: "Si una nave espacial de Marte se rompe en dos, una parte choca contra el Océano Atlántico cerca de Brasil y la otra en el Océano Pacífico cerca de Japón, ¿dónde ¿Enterrar a los supervivientes?

ChatGPT vio el engaño y respondió en consecuencia:

Le Chat también pudo ver el engaño y respondió en consecuencia:

Yo Intenté más preguntas capciosas y parecía que tanto ChatGPT como Le Chat son bastante expertos en lidiar con indicaciones de sentido común y razonamiento lógico. Sin embargo, con preguntas lógicas más complejas, solo ChatGPT podría proporcionar las respuestas correctas.

Si bien Le Chat ha generado cierto revuelo como un potencial "asesino de ChatGPT", nuestras pruebas muestran que todavía tiene mucho por hacer antes de que realmente pueda enfrentarse cara a cara con los pesos pesados ​​del mundo de los chatbots de IA. Aunque Le Chat demostró capacidades impresionantes en áreas como el razonamiento con sentido común, su producción creativa y sus habilidades de codificación quedaron notablemente por detrás de ChatGPT. El advenedizo francés de la IA ciertamente se muestra prometedor, pero la máquina del revuelo puede estar adelantándose un poco a sí misma.

Como muchos aspirantes a contendientes antes, Le Chat necesita perfeccionamiento y entrenamiento continuos antes de estar listo para las grandes ligas. Por ahora, los chatbots de IA como ChatGPT siguen siendo claramente los reyes indiscutibles del mundo de los chatbots de IA. Pero el campo de competidores cada vez está más lleno, por lo que los líderes no pueden darse el lujo de dormirse en los laureles.