Ciência
06/04/2023 às 06:30•2 min de leitura
Com o rápido avanço dos estudos área de Inteligência Artificial (IA), muito se discute sobre o uso desta tecnologia na educação — em especial por alunos, que poderiam se aproveitar de ferramentas como o ChatGPT para obter respostas de tarefas e questionários.
Agora, um teste realizado pelo Deltafolha mostra que a IA é tão avançada que foi capaz de obter resultados melhores do que quase 80% dos candidatos do Exame Nacional do Ensino Médio (ENEM).
Segundo uma reportagem publicada pela Folha de S.Paulo, caso fosse um candidato do ENEM, o ChatGPT teria média 612,3 nas provas objetivas. Com tal resultado, a IA ficaria na frente de 78,9% dos demais estudantes, passando na frente de 98,9% dos alunos em Ciências Humanas e de 95,3% dos candidatos em Linguagens e Códigos. O robô também superou 94,6 dos estudantes em Ciências da Natureza
ChatGPT fez provas do ENEM e teve resultado superior a quase 80% dos candidatos
Ainda que o resultado seja espantoso, mostrando que o robô teria grandes chances de entrar para alguns dos cursos mais cobiçados, a IA ainda teria que vencer um obstáculo: as questões de matemática. No teste, a Inteligência Artificial só conseguiu superar 27% dos candidatos em questões de áreas de Exatas.
A pesquisa utilizou provas do ENEM realizadas entre os anos de 2017 e 2021, com o robô respondendo a um total de 1290 questões em português. Para tal, foi utiliza a versão original do ChatGPT, o GPT-3.5, em conjunto com ferramentas de análise de desempenho disponibilizadas pela própria OpenAI, a empresa criadora do popular robô.
Para calcular a pontuação da Inteligência Artificial nas provas foi utilizado o sistema de correção do INEP, o órgão responsável pelo ENEM, que não considera exatamente a quantidade de respostas corretas. Todas as questões respondidas pela IA passaram pelo método conhecido como Teoria da Resposta ao Item (TRI), que beneficia o estudante que acerta uma questão fácil e erra uma difícil — visando prevenir o famoso "acerto no chute."
Apesar dos avanços na tecnologia, "robô" ainda tem dificuldades com questões de Ciências Exatas
O bom resultado em questões de Ciências Humanas já era esperado, dado que o ChatGPT é famoso justamente por sua capacidade de utilizar a internet para buscar respostas aos mais variados questionamentos. Como bem aponta o site Guia do Estudante, o robô poderia simplesmente vasculhar a rede online e responder às questões usando informações já existentes na internet.
Por outro lado, a nota baixa em Ciências Exatas tem uma explicação: a tecnologia ainda tem dificuldade em lidar com questões de matemática. A OpenAI já reconheceu o problema publicamente, chegando a anunciar no começo do ano que está trabalhando em melhorias para a ferramenta nesta área.
Por fim, o robô também precisou escrever uma redação, avaliada por dois professores, considerando o uso da norma culta da língua portuguesa; a adequação ao tema; a estrutura de texto e o uso de repertório; a coerência; a coesão; e a proposta de intervenção. O professor Adriano Chan deu nota 760 ao texto do ChatGPT, apontando que o texto foi coeso, mas pecou nos outros itens. Já a professora Jéssica Dorta deu ao robô nota 640, fazendo observações semelhantes mas descontando pontos por coesão e proposta de intervenção.