Desde su lanzamiento, ChatGPT de OpenAI se ha convertido en una preocupación para las instituciones educativas de todo el mundo, ya que los estudiantes han comenzado a usarlo para escribir ensayos y hacer trampa en las evaluaciones. Dado lo natural que parece el texto generado por el chatbot, a los profesores les resulta más difícil determinar si el trabajo de los estudiantes es original.

Para ayudar a los profesores a evaluar las tareas de los estudiantes, un graduado en informática desarrolló GPTZero, una herramienta de verificación de inteligencia artificial que determina si un texto se ha generado artificialmente.

Todo eso suena muy bien, pero ¿GPTZero puede detectar contenido creado por IA y qué precisión tiene?

¿Qué es GPTZero y cómo funciona?

GPTZero es una herramienta de análisis de texto con IA desarrollada por Edward Tian, ​​un graduado en ciencias de la computación, para ayudar a los instructores a distinguir el texto plagiado del trabajo original. La herramienta comprueba la perplejidad y el estallido de un texto para determinar si ha sido generado artificialmente o elaborado por un humano.

Sin entrar en detalles, veamos lo que significan estos términos:

La perplejidad mide la aleatoriedad del texto en el procesamiento del lenguaje natural (PLN). El texto escrito por un humano tiende a ser menos estructurado y más impredecible, por lo que su valor de perplejidad debería ser mayor. Por el contrario, el texto generado por IA debería tener una puntuación de perplejidad baja. Burstiness considera con perplejidad otras variables que no se tienen en cuenta para mejorar el análisis del texto. El término se refiere a la aparición de elementos no comunes en grupos aleatorios. El texto generado por IA tiende a tener una estructura más consistente que el texto escrito por humanos. La explosión nos ayuda a identificar eso.

GPTZero Classic ha sido accesible públicamente desde principios de 2023 y es de uso gratuito. Sin embargo, la versión gratuita tiene un límite de 5000 caracteres por documento y solo puede analizar por lotes tres documentos a la vez.

GPTZero ofrece tres versiones premium para satisfacer las necesidades de los usuarios que desean analizar millones de palabras mensualmente: Essential (con un precio de $10 por mes), Premium (con un precio de $16 por mes) y Professional (con un precio de $23). por mes). El límite de caracteres por documento es mayor en las versiones premium que en la gratuita y te permiten realizar más escaneos por hora, entre otras ventajas.

Siga estos pasos para suscribirse a estas versiones premium:

Navegue al sitio web de GPTZero. Haga clic en la pestaña Panel en la esquina superior derecha de la página. Inicie sesión con su cuenta existente o cree una cuenta nueva. Después de iniciar sesión, puede comparar los planes disponibles y actualizar al que mejor se adapte a sus necesidades.

Alternativamente, cuando esté en la página de inicio de GPTZero, haga clic en el botón Actualizar en la parte inferior del cuadro de texto para ver, compare y compre un plan pago.

Cómo utilizar GPTZero para detectar texto generado por IA

A diferencia de ChatGPT, no es necesario registrarse en GPTZero. Puede acceder a la herramienta a través del sitio web.

Vaya a GPTZero. Copie y pegue el texto que desea analizar en el cuadro o cargue un archivo. Haga clic en la casilla Verificar origen.

Al finalizar el escaneo, GPTZero le dirá si el texto fue escrito por un humano o generado por inteligencia artificial.

Cómo utilizar la extensión Origin de GPTZero para detectar texto generado por IA

Al descargar la extensión Origin gratuita de GPTZero en su navegador Chrome, puede escanear páginas web completas y Google Docs en busca de texto generado por IA. Esta nueva característica simplifica el proceso de verificación de información en línea.

Navega a la página de extensión de Origin en Chrome Web Store. Haga clic en Agregar a Chrome para descargar la extensión. A continuación, confirme la instalación para continuar. Una vez instalada la extensión, puede iniciar sesión con su cuenta de Google o crear una cuenta nueva. Para escanear una página web o un documento de Google, haga clic en el botón Origen en la pantalla y seleccione Escanear página completa.

Ahora podrá ver los resultados y determinar si el contenido fue escrito por una persona o generado por IA.

Uso de GPTZero para analizar su escritura

Una característica que distingue a GPTZero de otras herramientas de detección de IA es que puede analizar sus patrones de escritura. La plataforma ofrece un Historial de escaneo, que puede usar para revisar cualquier fragmento de texto que haya escaneado con la herramienta.

Además, al hacer clic en un resultado de búsqueda específico se obtienen datos más detallados sobre su escritura. Básicamente, podrás ver por qué tu escritura se consideró generada por humanos o por IA.

Entonces, por ejemplo, si GPTZero marcó algo que usted escribió como generado por IA, acceder al Análisis de escritura le indicará las razones de esto, como que el contenido tenía poca perplejidad y alta ráfaga. Puede corregir estos problemas para mejorar la calidad, legibilidad y autenticidad de su contenido.

¿GPTZero puede reconocer correctamente el texto generado por IA?

Para probar con qué precisión GPTZero detecta el texto generado por IA, analizaremos tres textos en la herramienta: texto generado por IA, texto escrito por humanos y texto generado por IA que ha sido parafraseado por otra herramienta. Veamos cómo responde GPTZero a cada entrada.

1. El análisis del texto generado por IA en GPTZero

Para analizar el texto generado por IA, primero generemos el texto usando ChatGPT, un chatbot de IA impulsado por tecnología GPT. Para hacerlo, siga estos pasos:

Vaya a OpenAI. Haga clic en el botón Probar ChatGPT. Inicie sesión o regístrese para crear una cuenta. Ingrese cualquier mensaje para generar un fragmento de texto. Copie el texto generado por la herramienta una vez finalizada. Analiza el texto en GPTZero, como explicamos anteriormente.

Cuando realizamos esta prueba, GPTZero respondió con resultados mixtos a una variedad de textos escritos por IA. A veces, no podía decir de ninguna manera que el texto fue generado por IA, mientras que en otras, supuso correctamente que la mayor parte del texto era IA.

También puede utilizar otras herramientas de escritura de IA para generar el texto que desea analizar.

2. El análisis de texto parafraseado generado por IA en GPTZero

Puede elegir entre cientos de herramientas de parafraseo para parafrasear texto. En este caso, utilizamos Scribbr. Si desea utilizar la misma herramienta, siga los pasos:

Vaya a Scribbr. Copie el texto generado por IA que analizamos anteriormente en GPTZero y péguelo en la herramienta. Haga clic en el botón Parafrasear. Deje que Scribbr parafrasee el texto por usted. Ejecute la prueba GPTZero nuevamente después de parafrasear.

Descubrimos que una ligera paráfrasis hacía que a GPTZero le resultara un poco más difícil determinar si el texto fue generado por IA, pero en general era una mezcla. También agregaría que el resultado parafraseado fue de pésima calidad. El texto de la izquierda era el original, mientras que el texto de la derecha era la versión parafraseada.

3. El análisis de contenido escrito por humanos en GPTZero

En algunos casos, herramientas como GPTZero devuelven un resultado falso positivo, lo que significa que consideran que algo es incorrecto cuando es no. Para determinar si GPTZero también produce falsos positivos, realizamos varias pruebas en la herramienta, analizando diferentes fragmentos de texto escritos por humanos.

Los resultados de GPTZero fueron precisos en su mayor parte a pesar de identificar una oración como potencialmente escrita por IA.

¿Debería confiar en los resultados de GPTZero?

Según nuestras pruebas, confiar únicamente en los resultados de esta herramienta puede ser arriesgado. De hecho, aparece un descargo de responsabilidad cada vez que genera un resultado utilizando la herramienta, que advierte a los educadores que no confíen en los resultados de esta herramienta.

Entonces, a menos que el desarrollador de la herramienta garantice que sus resultados son infalibles, los educadores no deberían confiar completamente en ella. ¿Por qué? Porque sería injusto que un estudiante recibiera una mala calificación simplemente porque GPTZero arrojó un falso positivo.

Los esfuerzos de GPTZero para minimizar los falsos positivos

Si bien todavía queda un largo camino por recorrer, GPTZero ha logrado avances significativos en la reducción de los falsos positivos. Un nuevo modelo de aprendizaje profundo implementado por la empresa ha impulsado estos esfuerzos, haciendo que la herramienta de detección de IA sea mucho más confiable que los servicios de la competencia.

El nuevo modelo de aprendizaje profundo utiliza un conjunto de datos de validación más diverso, basándose en fuentes como textos educativos, artículos de periódicos, publicaciones en redes sociales y contenido de preguntas y respuestas. Este conjunto de datos ampliado y variado permite a GPTZero distinguir mejor entre datos generados por humanos y datos generados por IA. Además, la compañía también afirma que las predicciones de GPTZero son más "confiadas" que antes.

No confíe siempre en los resultados de detección de IA

Como antídoto potencial para la tecnología GPT de OpenAI, GPTZero tiene un gran potencial; sin embargo, todavía queda un largo camino por recorrer. En este punto, no es del todo confiable. Pero, ¿superará la versión principal de GPTZero todas las limitaciones y captará el contenido de IA con precisión? Tendremos que esperar para descubrirlo.