Anthropic a annoncé la sortie de Claude 3, une famille de modèles d'IA susceptibles de bouleverser GPT-4. Il a un potentiel exceptionnel, mais est-il prêt à remporter la couronne de ChatGPT ?

Qu'est-ce que Claude 3 ?

Claude 3 est une famille de trois modèles d'IA multimodaux développés par Anthropic pour remplacer sa série de modèles d'IA Claude 2. On pourrait dire que Claude 3 est la réponse d'Anthropic au Gemini de Google et au GPT-4 d'OpenAI. Publié en trois versions, Haiku, Sonnet et Opus, dans leur ordre croissant d'intelligence, Claude 3 est le premier modèle d'IA multimodal d'Anthropic et représente un bond significatif par rapport à la série Claude 2.

Maintenant, si vous n'avez jamais entendu parler du chatbot Claude AI, c'est compréhensible. Claude et ses modèles sous-jacents ne bénéficient pas du statut de superstar de ChatGPT ni de l'attrait de la marque Gemini de Google. Cependant, Claude est sans aucun doute l’un des chatbots IA les plus avancés au monde, surpassant le très vanté ChatGPT dans plusieurs domaines clés.

Pour vraiment apprécier Claude 3, il est important de revenir sur les échecs des modèles précédents.

Les versions précédentes de Claude avaient la réputation d'être trop zélées en matière de sécurité de l'IA. Les dispositifs de sécurité de Claude 2, par exemple, étaient si stricts que le chatbot évitait trop de sujets, même ceux qui ne présentaient aucun problème de sécurité évident. Il y avait également des problèmes avec la fenêtre contextuelle du modèle. Lorsque vous demandez à un modèle d’IA d’expliquer quelque chose ou, par exemple, de résumer un long article, imaginez qu’il ne puisse lire que quelques paragraphes de l’article à la fois. Cette limite de la quantité de texte qu'il peut considérer à la fois est appelée « fenêtre contextuelle ». Les versions antérieures de Claude étaient livrées avec une fenêtre contextuelle de 200 000 jetons (équivalent à 150 000 mots). Cependant, le modèle n’était pas capable de traiter autant de texte d’un coup sans en oublier des morceaux. Il y avait aussi la question de la multimodalité. Presque tous les principaux modèles d'IA sont devenus multimodaux, ce qui signifie qu'ils peuvent traiter d'autres formes de données comme des images et répondre à ces données (plutôt que de simplement saisir du texte). Claude n'a pas pu le faire.

Ces trois problèmes ont désormais été entièrement ou au moins partiellement résolus avec la sortie de Claude 3.

Que pouvez-vous faire avec Claude 3 ?

Tout comme la plupart des modèles d'IA générative de pointe, Claude 3 peut générer des réponses de premier ordre pour diverses requêtes dans différents domaines. Que vous ayez besoin d'un problème d'algèbre rapide résolu, d'une toute nouvelle chanson écrite, d'un article approfondi rédigé, d'un code écrit pour un logiciel ou d'un ensemble de données massif analysé, Claude 3 fait l'affaire.

Mais la plupart des modèles d'IA sont déjà bons pour ces tâches, alors pourquoi utiliser Claude 3 ?

La réponse est simple ; Claude 3 n'est pas simplement un autre modèle d'IA performant dans ces tâches, c'est le modèle d'IA multimodal disponible gratuitement le plus avancé que vous puissiez obtenir sur Internet. Oui, il y a Gemini, le supposé tueur GPT-4 de Google qui fonctionne de manière impressionnante dans les tests de référence. Cependant, Anthropic affirme que Claude 3 le surpasse de manière impressionnante sur plusieurs tâches. Bien que les résultats des tests de référence soient quelque chose que nous devons souvent prendre avec des pincettes, j'ai mis les deux modèles d'IA à l'épreuve, et la supériorité du modèle Claude 3 dans plusieurs cas d'utilisation importants était très claire.

Ainsi, Claude 3 vous permet de faire la plupart des choses que vous pouvez faire avec Gemini et GPT-4 (moins la génération d'images) sans avoir à payer les frais d'abonnement de 20 $ pour ChatGPT premium.

Claude 3 vs ChatGPT

Un moyen rapide de tester les performances d'un modèle d'IA est de vérifier dans quelle mesure il se compare au meilleur du marché : GPT-4. Bien sûr, j’ai testé les deux modèles ; dans quelle mesure Claude 3 d'Anthropic se compare-t-il au colossal GPT-4 ?

Claude contre ChatGPT : compétences en codage

En commençant par une série de tâches de programmation, Claude 3 a égalé les capacités de GPT -4 dans toutes les tâches de programmation de base présentées et l'a même surpassé dans certaines. Même si je n'ai testé que les bases, la version précédente de Claude était nettement moins compétente pour les mêmes tâches lorsque nous l'avons testée dans cette comparaison ChatGPT vs Claude en septembre 2023. Par exemple, lorsque nous avons demandé aux deux modèles de créer une tâche simple. application de liste, Claude a échoué dans tous les cas, tandis que ChatGPT a affiché ce que nous appellerions une performance cinq étoiles à l'époque.

Avec la dernière version, Claude 3 a produit une application de liste de tâches plus performante dans les trois instances que nous avons testées. Voici le résultat de GPT-4 lorsque vous êtes invité à créer une application de liste de tâches.

Et voici le résultat de Claude 3 lorsqu'on lui demande de faire de même.

Les deux applications étaient fonctionnelles dans une certaine mesure, mais il est clair que Claude 3 a fait un meilleur travail sur celle-ci.

Après avoir essayé des tests de programmation plus complexes, Claude était le meilleur modèle dans plusieurs cas, tandis que GPT-4 a également eu ses victoires. Bien que je ne puisse pas affirmer de manière concluante que Claude 3 est meilleur en logique de programmation, s'il y avait un écart énorme entre les deux modèles, cet écart aurait presque certainement diminué.

Claude vs ChatGPT : raisonnement de bon sens

J'ai décidé de tester les deux modèles sur le raisonnement de bon sens. Travailler avec des chatbots IA est un paradoxe intéressant. Les chatbots IA peuvent gérer facilement des tâches complexes, mais sont souvent confrontés à des problèmes fondamentaux qui nécessitent du bon sens ou de la logique. Nous avons donc posé aux deux modèles une série de questions apparemment simples auxquelles il fallait du bon sens pour répondre correctement.

Sur cinq de ces questions, les deux modèles ont répondu logiquement aux cinq. Nous avons posé une de ces questions aux deux chatbots : si un vaisseau spatial en provenance de Mars se brise en deux, une partie s'écrasant dans l'océan Atlantique près du Brésil et l'autre dans l'océan Pacifique près du Japon, où enterrez-vous les survivants ?

ChatGPT a répondu correctement même sans GPT-4. Si vous vous demandez la raison du choix de la question, eh bien, les chatbots ont toujours échoué lamentablement dans ce type de question. Ce fut ensuite au tour de Claude de répondre.

La réponse de Claude n'était pas exactement une réponse définitive, mais elle a permis d'identifier les informations clés ; on n'enterre pas les survivants. Il est important de noter que la dernière fois que nous avons posé la même question à Claude 2, il n'a pas réussi à percer le piège du bon sens.

Claude vs ChatGPT : écriture créative

Dans le monde réel, l'un des cas d'utilisation les plus populaires des chatbots IA consiste à générer du texte créatif sous toutes ses formes : articles, lettres, paroles de chansons, vous nommez-le. J'ai donc testé les deux modèles pour déterminer lequel crée le meilleur texte à consonance humaine.

L'idée est que les résultats ne doivent pas seulement être "corrects" ou créatifs (d'une manière robotique), mais donner l'impression qu'ils ont été écrits par un humain. J'ai chargé les deux modèles de composer les paroles d'une chanson de rap sur la culture des concombres et de devenir millionnaire grâce à eux. Qui écrit des chansons de rap sur les concombres ? C'est l'idée : quelque chose de stimulant !

Voici le point de vue de ChatGPT :

Et voici la réponse de Claude, en utilisant la même invite.

Cela peut être subjectif, mais Claude semble être la meilleure option ici. Lorsque les deux outils ont été chargés de rédiger trois articles sur des sujets différents, Claude a proposé la meilleure option dans les trois cas. Il a produit un résultat plus humain et a évité les modèles généralement associés aux textes générés par l'IA, comme les exagérations, l'utilisation de mots complexes et l'utilisation sporadique de mots de liaison.

Claude contre ChatGPT : capacités de reconnaissance d'images

Pour tester les capacités de reconnaissance d'images, nous avons fourni à ChatGPT et Claude plusieurs images de grands immeubles populaires à travers le monde. ChatGPT a correctement identifié les 20 d'entre eux, tandis que Claude 3 n'a pas réussi à en identifier certains, notamment le très populaire Marina 101 de Dubaï, la Lotte World Tower à Séoul et le bâtiment Merdeka 118 à Kuala Lumpur, en Malaisie.

Contrairement à ChatGPT, Claude avait du mal à identifier les bâtiments parmi d'autres, et le taux d'échec augmentait si le bâtiment n'était pas aux États-Unis ou en Chine. Cependant, il n’a eu aucun problème à identifier les versions obscurcies de la Tour Eiffel ou de l’Empire State Building.

ChatGPT est clairement meilleur dans ce domaine, mais étant donné que Claude 3 est la première tentative d'Anthropic pour créer un modèle d'IA multimodal, ce n'était pas une mauvaise sortie.

Bien que des modèles de renom comme le Palm 2 de Google, puis le Gemini, aient toujours été présentés comme des tueurs potentiels du GPT-4, nous avons toujours soutenu que le Claude AI, moins connu, aurait probablement cet honneur depuis sa sortie initiale en mars 2023. Après quelques mois et plusieurs itérations, Claude 3 ressemble exactement au tueur GPT-4 que nous avions prévu. Si vous êtes un grand utilisateur de chatbot mais que vous n'avez pas essayé le chatbot Claude AI, vous manquez un outil d'IA extrêmement influent qui peut booster votre productivité.