Depuis son lancement, ChatGPT d'OpenAI est devenu une préoccupation pour les établissements d'enseignement du monde entier, car les étudiants ont commencé à l'utiliser pour rédiger des essais et tricher aux évaluations. Étant donné l’apparence naturelle du texte généré par le chatbot, les enseignants ont plus de mal à déterminer si le travail des étudiants est original.

Pour aider les enseignants à évaluer les devoirs des élèves, un diplômé en informatique a développé GPTZero, un outil de vérification de l'IA qui détermine si un texte a été généré artificiellement.

Tout cela semble très bien, mais GPTZero peut-il détecter le contenu créé par l'IA, et quelle est sa précision ?

Qu'est-ce que GPTZero et comment ça marche ?

GPTZero est un outil d'analyse de texte IA développé par Edward Tian, ​​diplômé en informatique, pour aider les instructeurs à distinguer le texte plagié du travail original. L'outil vérifie la perplexité et l'éclatement d'un texte pour déterminer s'il est généré artificiellement ou conçu par un humain.

Sans entrer dans les détails, regardons ce que signifient ces termes :

La perplexité mesure le caractère aléatoire du texte dans le traitement du langage naturel (NLP). Le texte écrit par un humain a tendance à être moins structuré et plus imprévisible, sa valeur de perplexité devrait donc être plus élevée. En revanche, le texte généré par l’IA devrait avoir un faible score de perplexité. Burstiness prend en compte d'autres variables non prises en compte dans la perplexité pour améliorer l'analyse du texte. Le terme fait référence à l’apparition d’éléments non courants dans des grappes aléatoires. Le texte généré par l’IA a tendance à avoir une structure plus cohérente que le texte écrit par des humains. L'éclatement nous aide à identifier cela.

GPTZero Classic est accessible au public depuis début 2023 et son utilisation est gratuite. Cependant, la version gratuite a une limite de 5 000 caractères par document et vous ne pouvez analyser par lots que trois documents à la fois.

GPTZero propose trois versions premium pour satisfaire les besoins des utilisateurs qui souhaitent analyser des millions de mots chaque mois : Essential (au prix de 10 $ par mois), Premium (au prix de 16 $ par mois) et Professional (au prix de 23 $ par mois). La limite de caractères par document est plus élevée dans les versions premium que dans la version gratuite, et elles vous permettent d'effectuer plus d'analyses par heure, entre autres avantages.

Suivez ces étapes pour vous abonner à ces versions premium :

Accédez au site Web de GPTZero. Cliquez sur l'onglet Tableau de bord dans le coin supérieur droit de la page. Connectez-vous avec votre compte existant ou créez un nouveau compte. Une fois connecté, vous pouvez comparer les forfaits disponibles et passer à celui qui correspond le mieux à vos besoins.

Alternativement, lorsque vous êtes sur la page d'accueil de GPTZero, cliquez sur le bouton Mettre à niveau en bas de la zone de texte pour afficher, comparez et achetez un forfait payant.

Comment utiliser GPTZero pour détecter le texte généré par l'IA

Contrairement à ChatGPT, aucune inscription n'est requise sur GPTZero. Vous pouvez accéder à l'outil via le site Web.

Accédez à GPTZero. Copiez et collez le texte que vous souhaitez analyser dans la zone ou téléchargez un fichier. Cliquez sur la case Vérifier l'origine.

Une fois l'analyse terminée, GPTZero vous indiquera si le texte a été écrit par un humain ou généré par une intelligence artificielle.

Comment utiliser l'extension Origin de GPTZero pour détecter le texte généré par l'IA

En téléchargeant l'extension Origin gratuite de GPTZero sur votre navigateur Chrome, vous pouvez analyser des pages Web entières et Google Docs pour trouver du texte généré par l'IA. Cette nouvelle fonctionnalité simplifie le processus de vérification des informations en ligne.

Accédez à la page d'extension d'Origin sur le Chrome Web Store. Cliquez sur Ajouter à Chrome pour télécharger l'extension. Ensuite, confirmez l'installation pour continuer. Une fois l'extension installée, vous pouvez vous connecter en utilisant votre compte Google ou créer un nouveau compte. Pour numériser une page Web ou un document Google, cliquez sur le bouton Origine à l'écran et sélectionnez Numériser la page entière.

Vous pourrez désormais afficher les résultats et déterminer si le contenu a été écrit par une personne ou généré. par l'IA.

Utiliser GPTZero pour analyser votre écriture

Une fonctionnalité qui distingue GPTZero de plusieurs autres outils de détection d'IA est qu'il peut analyser vos modèles d'écriture. La plate-forme propose un historique de numérisation, que vous pouvez utiliser pour consulter n'importe quel morceau de texte que vous avez numérisé à l'aide de l'outil.

De plus, en cliquant sur un résultat de recherche spécifique, vous obtenez des données plus détaillées concernant votre écriture. Vous pourrez essentiellement voir pourquoi votre écriture a été considérée comme générée par l'homme ou l'IA.

Ainsi, par exemple, si GPTZero a signalé quelque chose que vous avez écrit comme généré par l'IA, l'accès à l'analyse d'écriture vous en indiquera les raisons, comme le fait que le contenu avait une faible perplexité et une grande rafale. Vous pouvez corriger ces problèmes pour améliorer la qualité, la lisibilité et l'authenticité de votre contenu.

GPTZero peut-il reconnaître correctement le texte généré par l'IA ?

Pour tester avec quelle précision GPTZero détecte le texte généré par l'IA, nous analyserons trois textes dans l'outil : le texte généré par l'IA, le texte écrit par l'homme et le texte généré par l'IA qui a été paraphrasé par un autre outil. Voyons comment GPTZero répond à chaque entrée.

1. L'analyse du texte généré par l'IA dans GPTZero

Pour analyser le texte généré par l'IA, générons d'abord le texte à l'aide de ChatGPT, un chatbot IA alimenté par la technologie GPT. Pour ce faire, suivez ces étapes :

Accédez à OpenAI. Cliquez sur le bouton Essayer ChatGPT. Connectez-vous ou inscrivez-vous pour créer un compte. Entrez n’importe quelle invite pour générer un morceau de texte. Copiez le texte généré par l'outil une fois celui-ci terminé. Analysez le texte dans GPTZero, comme nous l'avons expliqué plus tôt.

Lorsque nous avons effectué ce test, GPTZero a répondu avec des résultats mitigés à une gamme de textes écrits par l'IA. Parfois, il ne pouvait pas dire d'une manière ou d'une autre que le texte était généré par l'IA, tandis que dans d'autres cas, il supposait à juste titre que la majeure partie du texte était générée par l'IA.

Vous pouvez également utiliser d'autres outils d'écriture d'IA pour générer le texte que vous souhaitez analyser.

2. L'analyse du texte paraphrasé généré par l'IA dans GPTZero

Vous pouvez choisir parmi des centaines d'outils de paraphrase pour paraphraser le texte. Dans ce cas, nous avons utilisé Scribbr. Si vous souhaitez utiliser le même outil, suivez les étapes :

Accédez à Scribbr. Copiez le texte généré par l'IA que nous avons analysé plus tôt dans GPTZero et collez-le dans l'outil. Cliquez sur le bouton Paraphrase. Laissez Scribbr paraphraser le texte pour vous. Exécutez à nouveau le test GPTZero après avoir paraphrasé.

Nous avons constaté qu'une légère paraphrase rendait un peu plus difficile pour GPTZero de déterminer si le texte était généré par l'IA, mais le résultat était globalement mitigé. J'ajouterais également que le résultat paraphrasé était de très mauvaise qualité. Le texte de gauche était l’original, tandis que le texte de droite était la version paraphrasée.

3. L'analyse du contenu écrit humain dans GPTZero

Dans certains cas, des outils comme GPTZero renvoient un résultat faussement positif, ce qui signifie qu'ils considèrent que quelque chose est incorrect lorsqu'il est pas. Pour déterminer si GPTZero génère également des faux positifs, nous avons effectué plusieurs tests dans l'outil, analysant différents morceaux de texte écrits par des humains.

Les résultats de GPTZero étaient pour la plupart exacts malgré l'identification d'une phrase comme potentiellement écrite par l'IA.

Devriez-vous faire confiance aux résultats de GPTZero ?

D'après nos tests, se fier uniquement aux résultats de cet outil peut être risqué. En fait, un avertissement apparaît chaque fois que vous générez un résultat à l'aide de l'outil, qui avertit les enseignants de ne pas se fier aux résultats de cet outil.

Ainsi, à moins que le développeur de l'outil ne garantisse que ses résultats sont infaillibles, les enseignants ne devraient pas s'y fier entièrement. Pourquoi? Parce qu'il serait injuste qu'un élève reçoive une mauvaise note simplement parce que GPTZero a renvoyé un faux positif.

Les efforts de GPTZero pour minimiser les faux positifs

Bien qu'il lui reste encore un long chemin à parcourir, GPTZero a fait des progrès significatifs dans la réduction des faux positifs. Un nouveau modèle d'apprentissage profond déployé par l'entreprise a propulsé ces efforts, rendant l'outil de détection de l'IA bien plus fiable que les services concurrents.

Le nouveau modèle d'apprentissage en profondeur utilise un ensemble de données de validation plus diversifié, s'appuyant sur des sources telles que des textes éducatifs, des articles de journaux, des publications sur les réseaux sociaux et du contenu de questions-réponses. Cet ensemble de données étendu et varié permet à GPTZero de mieux faire la distinction entre les données générées par l'homme et celles générées par l'IA. De plus, la société affirme également que les prévisions de GPTZero sont plus « confiantes » qu'auparavant.

Ne faites pas toujours confiance aux résultats de détection de l'IA

En tant qu'antidote potentiel à la technologie GPT d'OpenAI, GPTZero a un grand potentiel ; cependant, il reste un long chemin à parcourir. À ce stade, ce n’est pas entièrement fiable. Mais la version principale de GPTZero surmontera-t-elle toutes les limitations et capturera-t-elle le contenu de l'IA avec précision ? Nous devrons simplement attendre pour le savoir.