15 de julho de 2005

Validade e fiabilidade dos exames

A propósito da entrada anterior deixo por aqui um excerto de um livro “obrigatório”.
Observem o que o Prof. Dr. Domingos Fernandes nos diz acerca da validade e fiabilidade dos exames:

"A validade e a fiabilidade são duas das principais características psicométricas da avaliação. Tradicionalmente, diz-se que um teste é válido se avalia realmente aquilo para que foi construído. Se um teste não avalia o que é suposto avaliar, então, a sua utilização é enganadora.

[...] No entanto, de acordo com Gipps (1994), a validade é hoje encarada como um conceito unitário em que o constructo (a competência ou a aprendizagem subjacente) é o tema unificador. Também Gronlund & Linn (1990) reforçam esta ideia de validade como conceito unitário, chamando a atenção para o facto de a validade ter de traduzir as interpretações que se fazem dos resultados, não se limitando a ser um conceito que apenas se refere ao teste em si mesmo. Ou seja, estes autores procuram contextualizar, humanizar, se quisermos, o conceito de validade, relacionando-o com as interpretações que se fazem dos resultados dos testes e mesmo com as suas consequências. Nesta linha conceptual, Messick (1989, 1995) amplifica o conceito de validade referindo-se-lhe como um valor social que, obviamente, não se pode limitar a ser mais uma medida psicométrica, pois tem de ter em conta a natureza e o conteúdo das inferências que os avaliadores fazem a partir dos resultados de um dado teste. Trata-se de uma interessante e apaixonante discussão que, no fundo, considera que a validade de um teste, ou de um exame, não deve estar apenas directamente relacionada com o teste em si mesmo, ou com os resultados que produz, mas também com a interpretação e utilização que se faz desses resultados e com as consequências das decisões avaliativas. Ou seja, é a introdução das questões de natureza ética e social na elaboração de um conceito que era apenas considerado do ponto de vista estritamente psicométrico.
[...]
A fiabilidade de um teste ou de um exame nacional tem a ver com a consistência dos seus resultados. Ou seja, para analisarmos se um exame é fiável temos de quantificar em que medida o desempenho dos examinandos se mantém sensivelmente o mesmo, se resolverem o exame em tempos ou ocasiões diferentes.
A fiabilidade tem uma relevância acrescida quando os exames têm a sua função de selecção muito marcada, como é o caso do que se passa entre nós, pois, como vimos, os exames servem para seleccionar alunos para o ensino superior. É por isso que se afirma que a principal questão é a da replicação. Ou seja, se, na sequência de um dado exame e de uma resultante selecção de candidatos, tiver lugar uma replicação desse mesmo exame, põe-se a questão de saber se os candidatos seleccionados se mantêm os mesmos, ou não. Se sim, então o exame é considerado fiável e, em última análise, justo e equilibrado, tratando, com equidade, todos os candidatos. Se não, então temos um problema sério, pois o exame permite que a selecção de candidatos ao ensino superior possa estar dependente de outros factores que não os conhecimentos ou as reais aprendizagens adquiridas pelos candidatos.
[...]" (pp. 113-115)

Sem comentários: