No futuro, os computadores serão nossos médicos, nossos soldados, nossos bombeiros e nossos professores. Eles vão diagnosticar doenças, cuidar de nossos bebês, proteger nossas casas e ensinar nossos filhos. Uma empresa já está desenvolvendo um programa de computador de avaliação de ensaios que pode tirar a carga dos professores e dos avaliadores padronizados. Mas um computador pode realmente avaliar um ensaio cuidadosamente elaborado?
A empresa, edX, certamente pensa assim. Eles já oferecem cursos on-line para instituições, juntamente com um sistema de inteligência artificial que classifica os ensaios dos alunos. John Markoff no New York Times explica:
Anant Agarwal, engenheiro eletricista que é presidente da EdX, previu que o software de classificação instantânea seria uma ferramenta pedagógica útil, permitindo que os alunos fizessem testes e escrevessem redações repetidamente e melhorassem a qualidade de suas respostas. Ele disse que a tecnologia ofereceria vantagens distintas em relação ao sistema de sala de aula tradicional, onde os alunos costumam esperar dias ou semanas por notas.
"Há um enorme valor em aprender com feedback instantâneo", disse Agarwal. "Os alunos estão nos dizendo que aprendem muito melhor com feedback instantâneo".
Se esse feedback instantâneo é ou não de alta qualidade é outra questão. Os céticos desses graduadores de computador não são difíceis de encontrar. Um grupo, que se autodenomina Professionals Against Machine Scoring of Student Essays in High-Stakes Assessment, emitiu uma declaração e está coletando assinaturas para se manifestar contra a entrega da tarefa de classificação para um computador. Eles escrevem:
Vamos encarar as realidades da pontuação automática de ensaios. Os computadores não podem “ler”. Eles não podem medir os aspectos essenciais da comunicação escrita eficaz: precisão, raciocínio, adequação de evidências, bom senso, postura ética, argumento convincente, organização significativa, clareza e veracidade, entre outros.
A petição pede que os legisladores parem de depender de computadores para classificação e que as escolas parem de comprar os sistemas de pontuação automatizados.
Agarwal reconhece que o software poderia ser melhor e espera que seja melhor em distinguir um bom ensaio de um ensaio medíocre. "Isso é aprendizado de máquina e há um longo caminho a percorrer, mas é bom o suficiente e o lado positivo é enorme", disse ele ao New York Times . Além disso, ele diz, qualquer um que pense que os professores são consistentes está se enganando. "Descobrimos que a qualidade da classificação é semelhante à variação que você encontra de instrutor para instrutor".
De fato, alguns estudos sugeriram que computadores e professores produzem o mesmo tipo de variabilidade nas pontuações. Um estudo realizado por Mark Shermis, da Universidade de Akron, concluiu que “o escore de ensaio automatizado foi capaz de produzir escores semelhantes aos escores humanos para artigos de escrita de resposta estendida com igual desempenho tanto para o gênero tradicional quanto para o tradicional.” O estudo de Shermis, no entanto, nunca foi publicado em uma revista, e outros pesquisadores questionaram suas afirmações. Les C. Perelman, do MIT, escreveu uma resposta ao artigo do Shermis, escrevendo que “um exame minucioso da metodologia do artigo e dos conjuntos de dados usados demonstra que tal afirmação não é apoiada pelos dados do estudo”.
O grupo de profissionais também cita vários artigos sugerindo que os computadores não são tão bons quanto os professores na avaliação dos alunos.
Provavelmente, essa é uma questão de saber se esses computadores já estão bons o suficiente para avaliar, e não se serão. Mas não são apenas os professores que terão mais alta tecnologia, os alunos também. Se os alunos aprenderem o que o programa está procurando, eles poderiam simplesmente escrever um programa para escrever o ensaio perfeito com base nas especificações dos softwares. Talvez no futuro, os professores informatizados estejam graduando estudantes computadorizados.
Mais de Smithsonian.com:
Estonia ensinando 100% de seus primeiros alunos a codificar
Ensinando Policiais a Ver
