O professor posto à prova

Artigo retirado da Revista Educação - 

http://revistaeducacao.uol.com.br/textos/174/artigo236301-1.asp  -  Formação Docente – Setembro/2011 – Capa – Edição 174

Principal instrumento de aferição na escola, avaliação escrita ainda é pouco entendida por docentes brasileiros; falta de debate sobre resultados compromete processo de ensino e aprendizagem

A prova de Geografia começa e logo o aluno de ensino fundamental se depara com a seguinte questão: "o que é depressão?". A resposta vem imediata e constrange o professor: "é aquela doença que minha mãe tem e precisa tomar remédio".  Em outra escola, o docente chega com o maço de provas. Começa a chamar os alunos para receber as notas, com um detalhe: a chamada acontece em ordem decrescente de desempenho, o que instaura uma espécie de terror na sala de aula.

Ambas as situações são reais e estão descritas no estudo Prova: um instrumento avaliativo a serviço da regulação do ensino e da aprendizagem, realizado pela pesquisadora Dirce Aparecida Foletto de Moraes, da Universidade Estadual de Londrina (UEL). Os casos, que não são isolados, mostram como permanece profundo o abismo entre a teoria e as práticas da avaliação. Além disso, indicam que a prova escrita, principal recurso do qual o professor lança mão para se informar sobre o desempenho dos seus alunos, frequentemente é elaborada sem os pré-requisitos necessários para se configurar como um bom instrumento de avaliação. 

O estudo foi publicado na última edição da revista científica Estudos em Avaliação Educacional, da Fundação Carlos Chagas, e joga luzes sobre um tema relativamente pouco estudado na academia e insuficientemente trabalhado nos programas de pedagogia e de formação continuada. Afinal, se é verdade que a avaliação é um componente essencial no processo de ensino e aprendizagem, e se o professor tem na prova seu instrumento mais rotineiro, torna-se urgente aprimorar o uso desse recurso, tanto na compreensão mais ampla do que ele representa, como na própria elaboração do instrumento. 

Não que não haja interesse. O matemático Tadeu da Ponte, diretor do instituto de avaliação Primeira Escolha, responsável, entre outros, pelo vestibular do Ibmec, vem realizando palestras em todo o país sobre o tema da prova, sempre para auditórios lotados. "É preciso lembrar que esta não é mesmo uma questão simples, e o professor precisa ser preparado para saber avaliar", diz.

Perspectiva histórica

O primeiro passo é, exatamente, compreender o princípio do que se está fazendo. Afinal, o que é uma prova? Ela é mesmo um bom instrumento? Por que se tornou um sinônimo de avaliação? Segundo o autor Cipriano Luckesi, uma das referências no tema no Brasil, a prova surgiu ainda no século 16, na Europa, como um recurso de coleta de dados sobre o desempenho do educando. "Esse recurso recebeu o nome de ''''prova'''' e permaneceu com essa denominação até hoje. É o mais comum e cotidiano instrumento usado em sala de aula", diz Luckesi. Boa parte de seu sucesso se explica pela eficácia de reunir informações sobre um conjunto grande de alunos. Na Idade Média, não havia necessidade de testes escritos, devido a pouco número de aprendizes. "O mestre convivia diretamente com todos, podia observá-los, conversar, observar diretamente seu desempenho", lembra. Mas veio o tempo em que se tornou necessário o ensino para muitos e a demanda por um recurso eficiente para que o professor pudesse conhecer o desempenho de todos - e assim nasceu a prova.

Para a pesquisadora Dirce de Moraes, há outros fatores que fizeram com que o teste se tornasse um instrumento predominante ao longo dos séculos. Ele documenta e comprova o conhecimento, possibilitando a representação final por um valor numérico, que retrataria a aprendizagem daquele que foi avaliado. Para Dirce, hoje muitos professores simplesmente não conseguem acompanhar a aprendizagem do aluno sem lançar mão da prova. "Os educadores até buscam novos caminhos, mas, por desconhecerem as diferentes ferramentas ou por sentirem-se inseguros, garantem-se na prova como instrumento comprobatório", diz.

Críticas

A prova também se tornou um meio de comunicação entre famílias, crianças e escola. Basta ver que é muito mais frequente um pai perguntar a um filho ''''como foi na prova'''', do que ''''o que você aprendeu''''. Provavelmente, o abandono dos testes escritos causaria um terremoto na confiança que as famílias depositam na escola. Por fim, diz a pesquisadora, até mesmo entre os alunos a prova se tornou um instrumento de status, induzindo uma hierarquia em sala de aula. "A nota da prova leva a distinções entre melhores e piores, entre aqueles que têm potencial e os que seguem para o fracasso", diz. Nesse sentido, práticas docentes como dar a nota em voz alta estimulam essa visão.

Mas essa é apenas uma das críticas direcionadas à avaliação. Uma delas diz respeito aos usos inadequados dos instrumentos, especialmente por seu caráter de controle da classe e de poder do professor sobre o aluno. Outro questionamento é a confusão entre avaliar e fazer prova. "A prova em si não avalia nada, só oferece subsídios para o professor analisar as aprendizagens dos alunos", diz Dirce. "Avaliar é tudo o que acontece antes da nota", reforça Luckesi. Mas, tudo isso não significa que a prova seja um mal em si, alertam os pesquisadores. A questão é que ela precisa ser adequadamente aplicada. A começar do mais óbvio: uma prova escrita é útil quando se restringir às competências lógico-verbais. Ou seja, pode-se fazer uma prova escrita sobre história da arte, mas não sobre as habilidades de um artista. Por isso mesmo, há diversas outras situações na vida escolar que requerem outros instrumentos de avaliação - como produções, portfólios, apresentações e outras formas de levantar informações sobre a aprendizagem.

Encaminhamentos

Para Tadeu da Ponte, a elaboração de um bom instrumento de avaliação começa pela intencionalidade. E essa é a primeira dificuldade, pois requer que o professor inverta a lógica com a qual trabalha cotidianamente. "O docente olha para o cronograma, vê o calendário, o tempo de prova e de correção, pensa no que foi trabalhado ao longo de certo período", diz Tadeu. "Mas, para uma boa prova, precisamos pensar de trás para a frente e perguntar o que queremos que o aluno tenha de fato aprendido", sugere.

A partir desse princípio, o educador deve ter presente que a prova é um indicador, uma informação, como um sinal de trânsito, que precisa, portanto, ser interpretada, e não meramente corrigida. "A questão da prova precisa indicar algo; o erro tem de indicar algo", enfatiza o especialista. Portanto, para ele, a primeira providência antes mesmo de escrever as questões é colocar no papel a descrição da prova, quais conteúdos, quais competências se quer avaliar - tecnicamente, trata-se de estabelecer os descritores. Isso vai determinar, em grande medida, a formulação das questões e a estrutura do exame.

O desenvolvimento das questões é um dos pontos que mais atrapalham os professores, não apenas pela falta de clareza de que conteúdos mais relevantes devem ser avaliados, mas pela própria linguagem. "Com frequência, a linguagem utilizada não é clara e precisa, deixando o aluno em dúvida sobre o que o professor realmente quer como resposta", diz Vasco Moretto, autor do livro Prova: um momento privilegiado de estudo, em que analisou mais de 8 mil provas recolhidas em todo o Brasil.

Clareza

Um dos males mais comuns dos testes escritos aplicados nas escolas brasileiras é, segundo Moretto, a falta de parâmetros claros para a correção. Ao utilizar perguntas genéricas como "Comente, dê sua opinião", o professor automaticamente está dando carta branca para todo tipo de resposta. "O comando deve estar muito claro", confirma Tadeu da Ponte. A clareza da questão, a adequação do vocabulário à faixa etária e a objetividade também são atributos de uma boa prova. "Muitas vezes, o professor faz uma questão com quatro ou cinco temas embutidos, porque acha que poderia ser bom perguntar também isso e aquilo. Isso, no entanto, só dificulta a análise posterior", analisa Tadeu.

Terminada a questão, mande-se imprimir? Nada disso. Um protocolo comum nas instituições que elaboram exames deve ser seguido. O primeiro é reler a questão que se escreveu. Parece básico, mas a falta desse procedimento explica a grande quantidade de erros de gabarito ainda encontrados. Aliás, erros de gramática identificados pelos alunos podem até desacreditar o instrumento e desmoralizar o professor diante da turma. 

Outro engano comum é o uso de gráficos e ilustrações coloridas. Muitas vezes, os professores fazem provas com belas imagens, mas esquecem que ainda ela será reproduzida - talvez por uma máquina que imprima em branco e preto, com péssima definição e ainda em formato reduzido. Isso faz com que a compreensão das questões pelo aluno seja muito prejudicada. Por fim, para Tadeu, a cada releitura, o professor deve procurar ver se era possível perguntar a mesma coisa com menos palavras. A objetividade é um parâmetro de qualidade e permite melhores resultados no teste. "Muitas vezes dizemos que nossos alunos são prolixos e pouco objetivos, mas as próprias questões induzem a isso", avalia o matemático.

Conteúdos versus habilidades

A partir de 1997, professores passaram a lidar com a preocupação de contextualizar  as questões, especialmente nos grandes vestibulares, incluindo o Exame Nacional do Ensino Médio (Enem). Isso tem a ver diretamente com a concepção de aprendizagem significativa, originada especialmente das ideias do psicólogo norte-americano David Ausubel. O conceito remete à necessidade de estabelecer relações entre as aprendizagens prévias e a busca de conexões com a realidade do aluno. Para Vasco Moretto, uma característica típica da boa prova é, justamente, sua capacidade de estimular a aprendizagem significativa, o que requer a contextualização do que está sendo perguntado, por exemplo, por meio de um texto anterior.

Não se trata de um desafio simples, até porque nas escolas há uma clara dissociação entre os "saberes escolares" e a vida real. Mas, ainda que seja difícil desenvolver um teste que traga tais qualidades, é possível tornar a prova interessante, no entender de Tadeu da Ponte. "A contextualização não implica sempre que a questão deve ter a ver com a vida do aluno, mas que ele será provocado a pensar para resolver o problema, talvez de uma forma a que não está habituado", diz. Esse princípio automaticamente inibe a prática da memorização de respostas e procedimentos, o que deve ser, em última instância, preservado, em sua perspectiva. 

Ao mesmo tempo, a memorização, que é considerada um método ultrapassado de aprendizagem por muitos educadores, não pode ser esquecida. Em janeiro deste ano, a revista acadêmica norte-americana Science publicou um estudo que apontou que a "decoreba" pode impactar positivamente no desempenho dos estudantes. Realizada pelo psicólogo Jeffrey Karpicke, ligado à Universidade de Purdue, no Estado de Indiana, a pesquisa envolveu 200 jovens universitários. Os alunos estudaram textos científicos de duas formas. A primeira os estimulou a fazer elaborações sobre o conteúdo que aprenderam, com o texto em mãos. A outra simplesmente os afastou do texto, na tentativa de recuperar o máximo de informação por meio da memória. 

Os jovens que exercitaram a memória em vez de estudar com o texto à sua frente apresentaram resultado 50% superior em provas aplicadas. Segundo o estudo, a memorização ajudou os alunos a responder questões que exigiam deduções mais complexas e cruzamento de informações. A hipótese de Karpicke para explicar os resultados aponta que o processo de relembrar não envolveria apenas o resgate de informações já arquivadas no cérebro, mas também de reconstrução do que foi armazenado, o que obrigaria o órgão a reorganizar o assunto e priorizar determinados tópicos. "Não podemos nos levar por preconceitos. Há, de fato, conhecimentos que precisam ser memorizados. Por outro lado, devemos procurar oferecer situações-problema que levem o aluno a se apropriar desses conteúdos, tornando-se capaz de pensar de forma diferente, conforme os contextos que se apresentam", opina Tadeu da Ponte.

Formação 

O desenvolvimento de bons instrumentos de avaliação vem sendo tratado nas universidades quase sempre do prisma teórico. Contudo, os professores se sentem desamparados e desorientados na escola, como demonstrou a pesquisa empreendida por Dirce Moraes. Visitando escolas e conversando com professores, Dirce percebeu que não havia qualquer orientação em relação à elaboração das provas, à correção e às tomadas de decisão após os resultados. "Cada professor fazia da forma como achava certo", conta. Entre alguns bons exemplos, Dirce encontrou questões simplesmente retiradas de livros, enfatizando somente a memorização, sem preocupação de contextualizar as perguntas. 

 

Na verdade, como demonstra a pesquisadora Bernadete Gatti, da Fundação Carlos Chagas (FCC), em seu livro Professores do Brasil - Impasses e Desafios, no qual analisou currículos de cursos de pedagogia de todo o país, muitas vezes o docente reproduz práticas que encontrou na graduação. Nas faculdades, o método mais comum de avaliação é a prova escrita, como a que posteriormente ele proporá aos seus alunos. O problema é que as consequências desse despreparo remetem diretamente a questões graves da educação brasileira, como o fracasso escolar. "Um trabalho sistemático com a orientação dos professores, a formação continuada e conscientização sobre a responsabilidade de cada um no processo colaboram significativamente com o sucesso do aluno, distanciando-o do fracasso escolar", diz.

Distorções

Um estudo importante nesse sentido foi desenvolvido por Ricardo Madeira, da Faculdade de Economia e Administração (FEA), na USP, há três anos. Comparando as notas do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp) e as atribuídas pelos professores em sala, Madeira encontrou distorções reveladoras. Percebeu, por exemplo, que enquanto no Saresp as notas distribuem-se na forma de um sino, ou seja, mais ou menos igualmente, nas classes tendem a se aglutinar. "O professor tende a dar nomes iguais para alunos diferentes", diz.

A pesquisa mostrou que os testes que constantemente ranqueiam os alunos para baixo podem desmotivar e causar o abandono. "A prova traz uma influência importante sobre a decisão dos alunos", diz. Para ele, o descolamento entre as notas do professor e do Saresp pode indicar simplesmente que os docentes reconhecem que a prova não é um instrumento perfeito, o que reforça a necessidade de se utilizar variados instrumentos de avaliação. Mas há ainda outros aspectos importantes que ligam a cultura do exame escrito aos problemas de aprendizagem. Um dos principais é justamente sobre o que se costuma fazer com os resultados dos testes. Quase sempre, nada.

O pesquisador Luckesi chama a atenção para o fato de que a simples atribuição de valores numéricos não significa que houve um processo de avaliação formativa, ou seja, que produza reflexos sobre a aprendizagem. A prova deveria ser o primeiro passo, e não o final, de um processo como esse. Há muito a ser feito, como identificar e trabalhar com as turmas sobre pontos que se mostraram difíceis, ou como lançar um olhar mais individual para o desenvolvimento de cada aluno. "O feedback possibilita que ele se situe em relação às aprendizagens, tenha condições de entender e não apenas constatar seus erros e acertos. É preciso refletir, propor situações em que o aluno possa compreender o que fez e o que deixou de fazer em relação ao que foi proposto", enfatiza Dirce.

O argumento dos professores - e não desprovido de razão - é o problema do número de estudantes em sala, que inviabiliza um tratamento individualizado. "É possível que não consiga atender a todos, mas se propuser diferentes situações em que os alunos possam trabalhar na superação das dificuldades constatadas, isso vai contribuindo para o avanço. O que não pode acontecer é a prova apenas atestar a competência ou a incompetência do indivíduo com uma nota", alerta a pesquisadora. Tratar a prova como uma reta de chegada é  como olhar o termômetro e se satisfazer com o que ele indica, sem procurar as causas da febre. Para Luckesi, a preocupação única com aprovação ou reprovação acaba por afastar o gestor e o professor daquilo que ele efetivamente procura ao propor um teste - ou seja, encontrar dados para as decisões que terá de tomar, decisões que podem influenciar o futuro de milhares de vidas.

Uma boa prova

Veja algumas dicas de como elaborar a avaliação  escrita em sala de aula, segundo diferentes autores

1   Ter clareza do objetivo de cada pergunta. É preciso haver intencionalidade.

2   Buscar que sejam adequadas ao nível dos alunos, com questões bem distribuídas, entre fáceis, médias e difíceis.

3    Elaborar as questões com perguntas que sejam relevantes e evitar pegadinhas.  Tem de ter um tema predominante.   4   Se possível, buscar contextualizar os problemas ou, pelo menos, procurar apresentá-los de forma a provocar o raciocínio e evitar somente respostas memorizadas.

5  Ser rigoroso com a linguagem, evitando perguntas genéricas. O comando, ou seja, o que se quer de cada resposta deve estar muito claro. Evitar o uso de questões com o uso de negativa, que posteriormente prejudicam a análise da prova.

6  Ser coerente com as aulas e as estratégias  previamente utilizadas nas aulas.

7   Evitar provas exaustivas, que demandam muito tempo de realização. Isso não contribui para a qualidade do instrumento.

8  Planejar a prova com antecedência, com tempo para reler as questões, refazê-las e depurá-las.

9  A escolha do formato deve estar a serviço do objetivo. Questões de múltipla escolha podem ser tão boas com quatro opções do que de cinco, por exemplo. Para o Ensino Fundamental I, é melhor utilizar três alternativas; para o Ensino Fundamental II, quatro.

10  Atenção aos detalhes: cuidado com a correção gramatical, e com o uso de gráficos com cores e tamanhos que depois podem ser prejudicados na reprodução.

  A-