Inteligência Artificial e os professores: Uma avaliação reveladora da Escrita

Inteligência Artificial e os professores: Uma avaliação reveladora da Escrita

No mundo em constante evolução da tecnologia, surge uma pergunta intrigante: até que ponto ela irá mudar ou substituir as atividades tradicionalmente realizadas por seres humanos? Desde o autoatendimento nos supermercados até a capacidade da IA de detectar doenças graves em exames médicos, presenciamos o surgimento de ferramentas que podem auxiliar nas mais diversas áreas de trabalho. Com o avanço da IA nas salas de aula, impulsionado pela pandemia e sem sinais de desaceleração, o campo da educação também se tornou um terreno fértil para a colaboração entre profissionais e ferramentas tecnológicas. Mas agora nesse contexto, surge uma pergunta intrigante: qual é o papel da IA na avaliação do aprendizado dos alunos? Será alguma Inovação? Sabendo que a correção e o feedback de trabalhos podem consumir muito tempo dos professores de redação, limitando a possibilidade de atribuir tarefas mais extensas, e considerando o longo tempo de espera dos alunos por notas e feedback, surge um potencial significativo para economizar tempo e melhorar a aprendizagem por meio do auxílio da IA. Porém, ainda fica a dúvida: será que um sistema de pontuação e feedback baseado em IA pode realmente beneficiar os alunos tanto quanto os professores? É o que vamos descobrir!

O grande desempenho da IA!.

Recentemente, realizamos uma avaliação de uma plataforma equipada com IA, na qual alunos do ensino médio podiam redigir, enviar e revisar ensaios argumentativos em resposta a tarefas de escrita pré-definidas. Cada vez que os alunos clicaram em "enviar", eles receberam pontuações em quatro dimensões de escrita (Reivindicação e Foco, Apoio e Evidência, Organização, Linguagem e Estilo) com base no domínio do conteúdo, variando de 1 a 4. Além disso, a IA gerava comentários alinhados a cada dimensão, oferecendo observações e sugestões de melhoria instantaneamente após o envio dos alunos e também para comparar as pontuações e os feedbacks da IA com os fornecidos por professores reais, realizamos uma reunião presencial com 16 professores de redação do ensino médio que utilizaram a plataforma com seus alunos durante o ano letivo de 20212022. Após calibrarmos juntos a rubrica do projeto, garantindo uma compreensão e aplicação confiáveis das pontuações e sugestões, atribuímos a cada professor 10 redações aleatórias (não de seus próprios alunos) para que pontuassem e fornecessem feedback. Ao todo, foram avaliadas 160 redações pelos professores, o que nos permitiu comparar diretamente as pontuações e o feedback fornecidos pela IA com os desses professores.

E as pontuações dos professores, como se comparam com as da IA?

Em média, descobrimos que os professores atribuíram pontuações mais baixas do que a IA, havendo diferenças significativas em todas as dimensões, exceto em Reivindicação e Foco. No que diz respeito à pontuação geral em todas as quatro dimensões (mínimo de 4 e máximo de 16), a média dos professores para essas 160 redações foi de 7,6, enquanto a média da IA para o mesmo conjunto de trabalhos foi de 8,8. Analisando as dimensões específicas, a Figura 1 revela que, nas dimensões de Reivindicação e Foco e Apoio e Evidencia, os professores e a IA concordaram mais nas redações que receberam pontuações altas (4) e baixas (1), mas discordaram nas pontuações intermediárias, com os professores tendendo a atribuir a nota 2 e a IA a nota 3. Já nas dimensões de Organização e Linguagem e Estilo, os professores foram muito mais propensos a atribuir notas 1 ou 2 aos ensaios, enquanto as pontuações da IA foram mais distribuídas, variando de 1 a 4, com uma maior quantidade de ensaios pontuados com 3 ou até mesmo 4.

E quanto aos comentários escritos pelos professores? como se comparam aos fornecidos pela IA?

Durante nossa reunião com os 16 professores, oferecemos a eles a oportunidade de discutir as notas e os feedbacks que forneceram para suas 10 redações. Antes mesmo de refletir sobre redações específicas, ouvimos uma observação comum: quando usaram o programa em suas próprias salas de aula no ano anterior, precisaram ajudar a maioria de seus alunos a ler e interpretar os comentários feitos pela IA. Por exemplo, em muitos casos, relataram que os alunos liam um comentário, mas não tinham certeza do que fazer para melhorar sua redação. Portanto, uma diferença imediata apontada pelos professores foi a capacidade deles de expressar os comentários em uma linguagem adequada ao nível de desenvolvimento dos alunos, atendendo às suas necessidades e habilidades.

Resumindo

Isso pode ser um grande passo Inovador para o sistema educacional, isso com certeza ajudará vários alunos e diversos professores trazendo a inteligência artificial para a vida escolar e ajudando professores a avaliar melhor seus alunos, agradeço a ler esse artigo!