21/3/2013

Um novo modelo de avaliação dos programas de pós-graduação a ser enviado à CAPES

Artigo de Otávio Augusto S. Carpinteiro para o Jornal da Ciência

Uma das propostas da mesa-redonda "Políticas de Ciência e Tecnologia" [1], realizada em 13 de julho de 2011, em Goiânia, foi propor a criação de um novo modelo que servisse de base para a avaliação dos programas de pós-graduação nas diversas áreas do conhecimento.

Atualmente, a CAPES utiliza, como modelo de avaliação, os Documentos de Área das diversas áreas do conhecimento. Cada Documento de Área é um documento elaborado por cada Comitê de Área do conhecimento da CAPES e descreve as métricas pelas quais são avaliados, trienalmente, os programas de pós-graduação de sua área.

Os Documentos de Área atuais utilizados pela CAPES para avaliar os programas de pós-graduação (como, por exemplo, o Documento da Área de Ciência da Computação usado na última avaliação trienal dos programas de computação [2]) e a própria estrutura de avaliação têm sérias deficiências, como, por exemplo:

a) a utilização de métricas de produtividade e não de competência (ou eficiência) nos Documentos de Área. Tais métricas, além de insensatas, prejudicam, sobremodo, os programas de pós-graduação que, embora competentes, possuam poucos recursos [3];

b) a utilização de métricas subjetivas nos Documentos de Área, como, por exemplo, "valoriza-se isto, valoriza-se aquilo ...". Tais métricas, além de imprecisas em sua aplicação, dificultam as contestações após a divulgação, pela CAPES, dos resultados das avaliações dos programas;

c) não há métricas que avaliem a formação dos alunos, dos futuros profissionais, professores e cientistas, dever precípuo de qualquer programa de pós-graduação;

d) os programas de pós-graduação não indicam à CAPES os nomes que julgam mais convenientes para Coordenações de Área;

e) os programas de pós-graduação não participam da formulação dos critérios para estabelecer a qualidade (Qualis) da produção científica de sua área, bem como da decisão se seria cabível ou não, para sua área específica do conhecimento, existir esta avaliação de qualidade;

f) enfim, os programas de pós-graduação são excluídos da participação direta e ativa nos assuntos e questões relativos à pós-graduação. Apesar de conhecerem profundamente os problemas da pós-graduação nacional, pois encontram-nos frequentemente em sua atuação quotidiana, os programas de pós-graduação não participam, porém, na formulação das políticas e diretrizes de pós-graduação da CAPES.

Através de convites amplamente divulgados em listas de discussão na Internet e no JC-Email [4], formou-se um grupo de professores e pesquisadores que, após alguns meses de trabalho e discussão, formulou um novo modelo de avaliação que será divulgado na Internet e encaminhado à CAPES.

Este novo modelo de avaliação compõe-se de três documentos - um Regimento [5], um Novo Modelo de Documento de Área [6] e uma Sugestão para confecção de Qualis [7].

Listam-se, a seguir, algumas características relevantes deste novo modelo de avaliação:

a) a utilização exclusiva de métricas de competência (ou eficiência). Não existe uma sequer de produtividade. Assim, programas pequenos, com poucos recursos, têm oportunidades reais de alcançarem a verdadeira excelência, a excelência por competência, por mérito, dando sentido, incentivo e recompensa a seus esforços;

b) a utilização de métricas objetivas. Com isto, as avaliações não dão margem a opiniões subjetivas;

c) todas as métricas visam medir a formação dos alunos, ou seja, a qualidade com que são formados os futuros profissionais, professores e cientistas;

d) o Coordenador de cada Área do conhecimento é escolhido pela CAPES de uma lista tríplice de professores enviada pelo Comitê de Área, ou seja, pelos programas de pós-graduação da área representados por seus coordenadores. Cada Comitê de Área é agora, portanto, responsável pela escolha do Coordenador de sua Área;

e) a qualidade (Qualis) dos artigos, periódicos, congressos, livros e obras artísticas de uma área é avaliada e determinada pelos programas de pós-graduação da área. Há fortes controvérsias em relação ao Qualis, como, por exemplo, o fato da qualidade de um artigo ser definida por meio do veículo em que foi publicado (e não o contrário), ser definida por meio do número de citações obtidas pelo artigo e por outros índices [8]. O novo modelo de avaliação proposto dá aos programas de pós-graduação de cada área a oportunidade e responsabilidade não só de estabelecer a qualidade da produção científica de sua área, como também dá-lhes a oportunidade e responsabilidade para propor outros modelos de avaliação da qualidade da produção científica em sua área, ou ainda, para não propor modelo algum, caso não seja cabível, em sua área específica, uma avaliação desta natureza;

f) a criação de um Comitê para cada Área, formado pelos representantes dos programas de pós-graduação da área, com papel direto e ativo na formulação e definição das políticas e diretrizes de pós-graduação da CAPES.

O novo modelo de avaliação proposto não pretende ser um modelo completo e perfeito. Certamente está longe de o ser. É um modelo, porém, que não só foca sobre o cerne da pós-graduação, que é a formação qualificada de profissionais, professores e cientistas, como também é aberto, dinâmico, permitindo que seja modificado à medida que os programas de pós-graduação julguem que o deva ser.

Otávio Augusto S. Carpinteiro é professor na Universidade Federal de Itajubá, MG

Referências

[1] Portal Democracia e Transparência em C&T, Mesa-redonda "Políticas de Ciência e Tecnologia", Goiânia, 13 de julho de 2011, disponível em https://sites.google.com/site/democraciaetransparencia/mesas-redondas.

[2] CAPES, Documento da Área de Ciência da Computação usado na última avaliação trienal dos programas de computação, disponível em http://www.capes.gov.br/images/stories/download/avaliacao/COMPUTACAO_05mar10.pdf.

[3] Competência segundo métricas de produtividade: Uma análise e consequências, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/2011/09/competencia-segundo-metricas-de.html.

[4] Carpinteiro, O. A. S., Um novo Documento de Área, JC E-mail, no. 4624, 14 de Novembro de 2012, disponível em http://www.jornaldaciencia.org.br/Detalhe.jsp?id=84990.

[5] Portal Democracia e Transparência em C&T, Regimento, disponível em https://sites.google.com/site/democraciaetransparencia/Regimento.pdf?attredirects=0.

[6] Portal Democracia e Transparência em C&T, Novo Modelo de Documento de Área, disponível em https://sites.google.com/site/democraciaetransparencia/DocArea-Novo.pdf?attredirects=0.

[7] Portal Democracia e Transparência em C&T, Sugestão para confecção de Qualis, disponível em https://sites.google.com/site/democraciaetransparencia/Qualis-Novo.pdf?attredirects=0.

[8] Neves, A. G. M., Produtivismo, ranqueamento e o Navio Negreiro, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/2011/09/produtivismo-ranqueamento-e-o-navio.html


Fonte: Jornal da Ciência