Avaliação de curso superior é falha, indica auditoria

Auditoria do Tribunal de Contas afirma que indicadores do Ministério da Educação superdimensionam qualidade de cursos

O sistema de avaliação do ensino superior do Ministério da Educação superestima a qualidade dos cursos universitários, indica o Tribunal de Contas da União. Foram analisados procedimentos e metodologia dos indicadores federais.

O governo diz que iniciou processo de planejamento para a revisão do sistema.

O sistema de avaliação do ensino superior do Ministério da Educação não tem sido capaz de expressar o nível de qualidade dos cursos universitários do país. Ao contrário, superdimensiona em muitos casos a qualidade das graduações, aponta uma auditoria do TCU (Tribunal de Contas da União).

O trabalho, concluído em maio, analisou os procedimentos e a metodologia dos indicadores federais. A forma de cálculo desses índices recebeu atenção especial.

Desde 2004 está em vigor o Sinaes (Sistema Nacional de Avaliação da Educação Superior) —que passou por pequenos ajustes ao longo dos anos.

Ele compreende a construção de indicadores destinados a estabelecer um panorama de qualidade de cursos, além de induzir melhorias —o que não ocorre, segundo o TCU.

Os indicadores são também base para a supervisão e regulação do setor. Um baixo desempenho pode resultar no fechamento do curso ou impedir sua participação no Fies (financiamento estudantil).

Entre os apontamentos do tribunal estão problemas com o Enade, a prova feita por concluintes dos cursos. Anualmente, um grupo de graduações passa pela avaliação. O ciclo é repetido a cada três anos.

Reportagens publicadas sobre universidades que selecionavam só os melhores alunos para o Enade fizeram o MEC, em 2011, incluir critérios mais rígidos —como a exigência de participação dos alunos que tenham concluído 80% do curso.

De acordo com o tribunal, porém, a pasta ainda não consegue ter controle de quantos deveriam fazer o exame e quantos efetivamente o fazem. Novas denúncias de fraude surgiram em 2016, e o governo Michel Temer (MDB) prometeu investigações. Até agora, nada foi decidido.

Além disso, é falho o enquadramento dos cursos nas respectivas áreas de avaliação do exame. A instituição de ensino é que define se o curso se encaixa na área avaliada, “o que dá margem para que as instituições intencionalmente não procedam esse enquadramento”, diz o TCU.

No acórdão, a ministra do TCU Ana Arraes determina que o governo repense o sistema de avaliação e crie mecanismos para um maior controle de participação no Enade.

O Inep, órgão ligado ao governo federal, afirmou em nota que a maior parte dos apontamentos do TCU já era esperada e faz parte das ações planejadas pelo instituto.

A prova do Enade tem duas partes, uma de conhecimentos gerais e outra sobre saberes específicos do curso.

Em uma análise sobre os cursos de direito, o tribunal apurou que, embora 83,4% dos cursos do país tenham indicadores adequados, apenas 7,7% dos cursos tiveram médias com mais da metade de acertos na parte específica.

“Intuitivamente, as notas/ desempenhos deveriam caminhar na mesma direção”, diz o relatório. É que os demais componentes do indicador de qualidade, e sua forma de cálculo, “elevam os desempenhos dos cursos”.

As notas do Enade são convertidas em uma escala por faixas, que vai de 1 a 5. O mesmo ocorre com o CPC (Conceito Preliminar de Curso), indicador composto pelo Enade e dados sobre o perfil do corpo docente e infraestrutura.

Cursos com CPC 1 e 2 são considerados insatisfatórios e podem ter sua autorização comprometida. O TCU aponta incoerências no formato do cálculo porque a escala do CPC só permite comparar os cursos entre si —não reflete, assim, um nível de excelência.

Ao simular uma escala em que cada uma das cinco faixas corresponde a 20% da nota contínua máxima (considerada mais coerente pelo tribunal), há uma ligeira redução de cursos com desempenho adequado. O volume de cursos com indicador 4 e 5, de excelência, reduz em 10%.

Quando um curso fica com CPC 1 ou 2, uma equipe do MEC faz uma visita in loco. A partir da análise do curso, chega-se a outro indicador: o CC (Conceito de Curso). Mas dessa vez o Enade é ignorado.

Assim, cursos com CPC baixo conseguem, posteriormente, um CC acima de 3 —o que o classifica como adequado.

O TCU critica o fato de o CC desconsiderar os dados do Enade, que expressa o desempenho dos alunos. Dos 78 cursos que tiveram conceito CPC igual 1 em 2015, 47 acabaram com conceito CC maior ou igual a 3. Desses, 34 tiveram nota 1 no Enade.

Representantes das universidades privadas queixam-se sobre o peso do Enade no CPC (de 55%). Como os alunos não têm compromisso com o resultado da prova, as instituições se dizem prejudicadas.

Luiz Cláudio Costa, ex-presidente do Inep, defende o sistema de avaliação como um todo, mesmo considerando a necessidade de melhorias. Segundo ele, criar formas de avaliar a graduação é o desafio.

“Avalia-se bem a pesquisa, a extensão, mas o mundo todo ainda busca formas de avaliar o ensino. Em geral, rankings internacionais avaliam por reputação”, diz ele, que foi ministro da Educação no governo Dilma Roussef (PT).

Com o modelo atual, tanto a busca pela qualidade quanto o sistema de supervisão e regulação são prejudicados, diz Rodrigo Capelato, do Semesp (sindicato das instituições privadas de ensino superior). “Quando imponho uma regra geral acabo empobrecendo o sistema”, diz.

“Os indicadores precisam ser revistos, mas não dá pra não tê-los. Falta incorporar novos índices, como o número de alunos que terminam o curso no tempo correto.”

O governo informou que iniciou um planejamento para a revisão dos fundamentos teórico e metodológico. A realização de um seminário internacional, em 2017, e a criação de duas comissões de assessoramento fazem parte disso.

O MEC ressalta a dificuldade de supervisionar milhares de instituições e cursos. “Todos passam por processos periódicos de reconhecimento e renovação de reconhecimento, assim como de recredenciamento institucional.” A pasta prevê lançar no segundo semestre novo programa para ações de monitoramento.