Desde o seu lançamento, o ChatGPT da OpenAI tornou-se uma preocupação para instituições educacionais em todo o mundo, à medida que os alunos começaram a usá-lo para escrever redações e colar nas avaliações. Dada a naturalidade do texto gerado pelo chatbot, os instrutores estão tendo mais dificuldade em determinar se o trabalho dos alunos é original.

Para auxiliar os professores na avaliação das tarefas dos alunos, um graduado em ciência da computação desenvolveu o GPTZero, uma ferramenta de verificação de IA que determina se um texto foi gerado artificialmente.

Tudo isso parece muito bom, mas o GPTZero pode detectar conteúdo criado por IA e quão preciso ele é?

O que é GPTZero e como funciona?

GPTZero é uma ferramenta de análise de texto de IA desenvolvida por Edward Tian, ​​​​graduado em ciência da computação, para ajudar os instrutores a distinguir texto plagiado de trabalho original. A ferramenta verifica a perplexidade e a explosão de um texto para determinar se ele foi gerado artificialmente ou criado por um ser humano.

Sem entrar em detalhes, vamos ver o que estes termos significam:

Perplexidade mede a aleatoriedade do texto no Processamento de Linguagem Natural (PNL). Texto escrito por um ser humano tende a ser menos estruturado e mais imprevisível, portanto seu valor de perplexidade deveria ser maior. Por outro lado, o texto gerado por IA deve ter uma pontuação de perplexidade baixa. A explosão considera outras variáveis ​​não contabilizadas na perplexidade para melhorar a análise do texto. O termo refere-se ao aparecimento de itens não comuns em agrupamentos aleatórios. O texto gerado pela IA tende a ter uma estrutura mais consistente do que o texto escrito por humanos. A explosão nos ajuda a identificar isso.

GPTZero Classic está acessível publicamente desde o início de 2023 e é de uso gratuito. No entanto, a versão gratuita tem um limite de 5.000 caracteres por documento e você só pode analisar em lote três documentos por vez.

GPTZero oferece três versões premium para satisfazer as necessidades dos usuários que desejam analisar milhões de palavras mensalmente: Essential (custa US$ 10 por mês), Premium (custa US$ 16 por mês) e Profissional (custa US$ 23 por mês). O limite de caracteres por documento é maior nas versões premium do que na gratuita, e permitem realizar mais digitalizações por hora, entre outras vantagens.

Siga estas etapas para assinar essas versões premium:

Navegue até o site do GPTZero. Clique na guia Painel no canto superior direito da página. Faça login com sua conta existente ou crie uma nova conta. Após fazer login, você pode comparar os planos disponíveis e atualizar para aquele que melhor se adapta às suas necessidades.

Alternativamente, quando estiver na página inicial do GPTZero, clique no botão Atualizar na parte inferior da caixa de texto para visualizar, compare e adquira um plano pago.

Como usar o GPTZero para detectar texto gerado por IA

Ao contrário do ChatGPT, nenhum registro é necessário no GPTZero. Você pode acessar a ferramenta pelo site.

Vá para GPTZero. Copie e cole o texto que deseja analisar na caixa ou carregue um arquivo. Clique na caixa Verificar origem.

Após a conclusão da verificação, o GPTZero informará se o texto foi escrito por um ser humano ou gerado por inteligência artificial.

Como usar a extensão Origin do GPTZero para detectar texto gerado por IA

Ao baixar a extensão Origin gratuita do GPTZero em seu navegador Chrome, você pode verificar páginas inteiras da web e Google Docs em busca de texto gerado por IA. Este novo recurso simplifica o processo de verificação de informações online.

Navegue até a página de extensão do Origin na Chrome Web Store. Clique em Adicionar ao Chrome para baixar a extensão. Em seguida, confirme a instalação para prosseguir. Depois que a extensão estiver instalada, você poderá fazer login usando sua conta do Google ou criar uma nova conta. Para digitalizar uma página da web ou um documento do Google, clique no botão Origin na tela e selecione Digitalizar página inteira.

Agora você poderá visualizar os resultados e determinar se o conteúdo foi escrito por uma pessoa ou gerado pela IA.

Usando GPTZero para analisar sua escrita

Um recurso que diferencia o GPTZero de várias outras ferramentas de detecção de IA é que ele pode analisar seus padrões de escrita. A plataforma oferece um histórico de digitalização, que você pode usar para revisar qualquer trecho de texto digitalizado com a ferramenta.

Além do mais, clicar em um resultado de pesquisa específico traz dados mais detalhados sobre sua escrita. Basicamente, você será capaz de ver por que sua escrita foi considerada gerada por humanos ou por IA.

Então, por exemplo, se o GPTZero sinalizou algo que você escreveu como gerado por IA, acessar a Análise de Escrita lhe dirá os motivos para isso, como que o conteúdo tinha baixa perplexidade e alta intermitência. Você pode corrigir esses problemas para melhorar a qualidade, legibilidade e autenticidade do seu conteúdo.

O GPTZero pode reconhecer texto gerado por IA corretamente?

Para testar a precisão com que o GPTZero detecta texto gerado por IA, analisaremos três textos na ferramenta: texto gerado por IA, texto escrito por humanos e texto gerado por IA que foi parafraseado por outra ferramenta. Vamos ver como o GPTZero responde a cada entrada.

1. A análise de texto gerado por IA no GPTZero

Para analisar texto gerado por IA, vamos primeiro gerar o texto usando ChatGPT, um chatbot de IA desenvolvido com tecnologia GPT. Para fazer isso, siga estas etapas:

Vá para OpenAI. Clique no botão Experimentar ChatGPT. Faça login ou cadastre-se para criar uma conta. Insira qualquer prompt para gerar um trecho de texto. Copie o texto gerado pela ferramenta assim que terminar. Analise o texto no GPTZero, conforme explicamos anteriormente.

Quando realizamos este teste, GPTZero respondeu com resultados mistos a uma variedade de textos escritos por IA. Às vezes, não era possível dizer de forma alguma que o texto era gerado por IA, enquanto outras vezes, presumia corretamente que a maior parte do texto era IA.

Você também pode usar outras ferramentas de escrita de IA para gerar o texto que deseja analisar.

2. A análise de texto parafraseado gerado por IA no GPTZero

Você pode escolher entre centenas de ferramentas de paráfrase para parafrasear texto. Neste caso, usamos o Scribbr. Se quiser usar a mesma ferramenta, siga os passos:

Vá para o Scribbr. Copie o texto gerado pela IA que analisamos anteriormente no GPTZero e cole-o na ferramenta. Clique no botão Parafrasear. Deixe o Scribbr parafrasear o texto para você. Execute o teste GPTZero novamente após parafrasear.

Descobrimos que uma leve paráfrase tornava um pouco mais difícil para o GPTZero determinar se o texto era gerado por IA, mas no geral era uma mistura. Eu também acrescentaria que a saída parafraseada era de péssima qualidade. O texto à esquerda era o original, enquanto o texto à direita era a versão parafraseada.

3. A análise do conteúdo escrito por humanos no GPTZero

Em alguns casos, ferramentas como o GPTZero retornam um resultado falso positivo, o que significa que consideram algo incorreto quando é não. Para determinar se o GPTZero também produz falsos positivos, executamos vários testes na ferramenta, analisando diferentes trechos de texto escritos por humanos.

Os resultados do GPTZero foram precisos em sua maior parte, apesar de identificar uma frase como potencialmente escrita por IA.

Você deve confiar nos resultados do GPTZero?

Com base em nossos testes, confiar apenas nos resultados desta ferramenta pode ser arriscado. Na verdade, cada vez que você gera um resultado com a ferramenta, aparece um aviso de isenção de responsabilidade, que alerta os educadores para não confiarem nos resultados desta ferramenta.

Portanto, a menos que o desenvolvedor da ferramenta garanta que seus resultados são infalíveis, os educadores não devem confiar totalmente nela. Por que? Porque seria injusto um aluno receber uma nota baixa simplesmente porque o GPTZero retornou um falso positivo.

Esforços do GPTZero para minimizar falsos positivos

Embora ainda tenha um longo caminho a percorrer, o GPTZero fez avanços significativos na redução de falsos positivos. Um novo modelo de aprendizagem profunda implantado pela empresa impulsionou esses esforços, tornando a ferramenta de detecção de IA muito mais confiável do que os serviços concorrentes.

O novo modelo de aprendizagem profunda usa um conjunto de dados de validação mais diversificado, recorrendo a fontes como textos educacionais, artigos de jornais, postagens em mídias sociais e conteúdo de perguntas e respostas. Este conjunto de dados expandido e variado permite que o GPTZero distinga melhor entre dados gerados por humanos e dados gerados por IA. Além disso, a empresa também afirma que as previsões do GPTZero são mais “confiantes” do que antes.

Nem sempre confie nos resultados de detecção de IA

Como um antídoto potencial para a tecnologia GPT da OpenAI, o GPTZero tem um grande potencial; no entanto, ainda há um longo caminho a percorrer. Neste ponto, não é totalmente confiável. Mas será que a versão principal do GPTZero superará todas as limitações e capturará o conteúdo de IA com precisão? Teremos apenas que esperar para descobrir.