DESTAQUE

CAPES: Mudanças na avaliação buscam olhar mais cuidadoso para cada programa em seu contexto

Nova avaliação quadrienal foi tema do Workshop das Pós-Graduações em Química, na 48a RASBQ

Durante os próximos quatro anos, gestores dos 76 programas de pós-graduação da área de química enfrentarão o desafio diário da construção do novo relatório de avaliação quadrienal da CAPES, que traz algumas mudanças em relação ao quadriênio anterior. O tema foi discutido no Workshop das Pós-Graduações em Química, realizado na 48a Reunião Anual da SBQ, que contou com a presença do diretor de Avaliação da CAPES, professor Antonio Gomes Souza Filho (UFC) e do coordenador da área de Química, professor Valdir Florêncio da Veiga Junior (IME).

As principais mudanças estão ligadas à identidade e missão dos programas, à classificação de artigos, ao impacto do programa na sociedade e aos fatores que determinam a excelência dos programas. "As mudanças que a CAPES fez no processo de avaliação ao longo desses 50 anos são sempre feitas com muito cuidado e de forma incremental. Ao mesmo tempo em que avançamos na direção de aprimorar procedimentos e indicadores, consideramos o que foi feito até então. Isso porque foi um processo construído pela comunidade, envolvendo toda comunidade", afirma o diretor de Avaliação.

Prof. Antonio Gomes (UFC), diretor de Avaliação da CAPES: "As mudanças que a CAPES fez no processo de avaliação ao longo desses 50 anos são sempre feitas com muito cuidado e de forma incremental"

Em linhas gerais as mudanças implementadas para o próximo quadriênio buscam olhar com mais atenção para o impacto dos programas de acordo com as suas características como a região em que se encontram, que tipo de profissionais buscam formar, e seu estágio de desenvolvimento. Neste sentido, aquilo que cada programa estabelecer como sua missão será valorizado.

"A avaliação não deve tutelar as atividades dos programas. Os PPGs precisam definir sua missão e identidade a partir do que suas Instituições ofertam, do perfil do corpo docente, do contexto institucional e social, do próprio plano de desenvolvimento institucional. E a partir daí montar estratégias de formação e pesquisa para fazer a melhor oferta possível de itinerários formativos para seus pós-graduandos", explica o Professor Antonio Gomes.

O coordenador da área de Química da CAPES, professor Valdir Florêncio da Veiga Junior (IME) vem conversando sobre as novidades na avaliação quadrienal com os programas nos últimos dois anos. Ele observa que a avaliação de acordo com as especificidades de cada um era uma demanda dos programas, diante da realidade tão diversa do país e dos próprios programas. É complicado comparar programas antigos com novos, os que estão nos grandes centros dos que estão distantes.

"Os programas devem estabelecer claramente qual é sua identidade: formar recursos humanos com qual finalidade? Por exemplo, um PPG dentro de um centro de pesquisa tende a formar cientistas. Um que está em região em desenvolvimento tende a formar professores e gestores… Outro que está em uma área de forte atuação empresarial tende a formar profissionais para empresas...", afirma o Professor Veiga.

Prof. Valdir Florêncio da Veiga Junior (IME), coordenador da área de Química da CAPES: "Avaliação de acordo com especificidades era demanda antiga dos programas"

Um novo campo no relatório de avaliação está diretamente ligado à identidade e à missão do programa. Nele, os programas devem descrever os "Casos de Impacto" – os efeitos percebidos na (e pela) sociedade a partir das ações e resultados globais dos processos investigativos e formativos do programa de pós-graduação – ou seja, produtos ou processos que promovam transformações na sociedade. "Será avaliado o impacto no quadriênio e que pode ter sido resultado de ações realizadas pelos programas até 12 anos anteriores", explica o Professor Antonio Gomes.

Na visão do Professor Veiga, "é impossível avaliar tudo o que você faz na vida, mas é possível avaliar tudo que você fez de melhor. Então os programas descrevem seus principais produtos, e isso que nós avaliamos."

Outra mudança neste novo quadriênio diversifica os fatores que justificam os níveis de excelência dos programas. Até então o principal diferencial para alcançar níveis 6 e 7 era a internacionalização. No quadriênio de 2025 a 2028 passam a ser considerados também: o impacto; a adequação da pesquisa realizada ao alcance dos ODSs; a solidariedade/nucleação; a interdisciplinaridade; e as boas práticas em pesquisa.

Essa mudança abre a perspectiva de subida de conceito para programas que não têm a internacionalização como prioridade, mas que se destacam nos demais quesitos de excelência. "Então a excelência de um programa localizado em uma região em desenvolvimento, cuja missão é atuar na formação de mestres em doutores dos profissionais que são professores das escolas da região, vai ser avaliada a partir deste olhar. Se o programa se propõe a impactar fortemente sua região, e seus resultados confirmarem isso, se seus egressos estiverem trabalhando nas escolas locais, se suas linhas de pesquisa tiverem produzido melhorias para a sociedade local, se houver transparência em seus processos…aí estarão os indicadores de excelência, e não mais apenas no grau de internacionalização", exemplifica o Professor Veiga.

A classificação de artigos também muda. Em vez de focar apenas na classificação do periódico (antigo Qualis Periódico), a avaliação olhará para indicadores (bibliométricos ou não) do próprio artigo.

Na visão do diretor de Avaliação, do ponto de vista conceitual, a mudança nos procedimentos de classificação dos artigos não deveria mudar a dinâmica de pesquisa nem de divulgação dos resultados por parte dos autores e pesquisadores. Tanto a pesquisa quanto a sua divulgação devem ter como base o avanço do conhecimento.

"É a partir do alcance das contribuições que os artigos trazem para a determinada área que se deve escolher um periódico mais adequado para a divulgação. Avanços disruptivos têm maior potencial para serem publicados nos periódicos de maior prestígio e reputação perante a comunidade acadêmica, enquanto os avanços mais incrementais encontram espaço em periódicos mais especializados e com alcance menor. É importante também escolher periódicos onde o tema esteja no centro do debate da comunidade", assinala o Professor Antonio Gomes. "Não se pode pensar a pesquisa e sua divulgação sob a tutela da avaliação, e essa dependência excessiva não é boa nem para os avaliados nem para a avaliação. Uma produção relevante e de qualidade tem alta probabilidade de sempre ser bem avaliada."

Em termos do aprimoramento do processo de classificação dos artigos, espera-se que os novos procedimentos permitam, por exemplo, que três artigos publicados em um mesmo periódico possam ter classificações diferentes, pois os indicadores bibliométricos dos artigos são diferentes. Com isso, um texto poderá receber classificação melhor, a depender do procecidmento escolhido pela área de avaliação, do que o outro, de acordo com as contribuições específicas que cada um deles promoveu em termos de relevância e repercussão na área de conhecimento.

A nova metodologia de classificação de artigos traz outros benefícios: abre espaço para acolher outras informações, métricas e metodologias que a avaliação contemporânea da produção científica demanda; traz a possibilidade de valorizar boas revistas de acesso aberto ou de relevância nacional, a exemplo daquelas indexadas no Scielo; permite um olhar mais atento para as especificidades de cada uma das áreas.

Para a classificação dos artigos foram definidos três procedimentos, e cada Área de Avaliação poderá adotar um ou a combinação entre eles.

Procedimento 1 - a classificação dos artigos se dará pelos indicadores bibliométricos dos veículos de publicação, baseada no desempenho da revista, como é feito atualmente pelo Qualis Periódicos, mas a classificação vai recair sobre artigos. Portanto não teremos revistas classificadas. Os artigos serão classificados em oito níveis, em ordem decrescente de relevância: A1, A2, A3, A4, A5, A6, A7, e A8.

Procedimento 2 – neste procedimento podem ser considerados os indicadores diretos dos artigos mais os indicadores dos periódicos, tais como o índice de citações alcançado para a análise quantitativa. Os atributos dos periódicos usam seus indicadores bibliométricos como ponto de partida para adicionar outros critérios que qualificam o periódico, tais como critérios de indexação e acesso aberto, dentre outros. A classificação final dos artigos resulta da combinação das duas análises mencionadas (periódico e artigo) e os critérios são estabelecidos pelas áreas. Os artigos serão classificados em oito níveis, em ordem decrescente de relevância: A1, A2, A3, A4, A5, A6, A7, e A8.

Procedimento 3 – a classificação dos artigos é feita por meio de uma análise qualitativa baseada em fatores e metodologias definidos pela área de avaliação que podem abarcar, por exemplo, uma análise de pertinência do tema abordado frente às áreas de concentração e linhas do programa, avanço conceitual proveniente do trabalho publicado, a contribuição científica do estudo para a área de conhecimento em termos de relevância e impacto, dentre outros. Nesta fase eles receberão conceitos em uma escala já bem conhecida, Muito bom, Bom, Regular, Fraco e Insuficiente.

"A mudança é interessante. Na Química vamos utilizar os procedimentos 1 e 2", afirma o Professor Veiga. "Em vez de olhar meramente o resultado, vamos olhar para o impacto em si. Ou seja, publiquei num periódico A1 que traz um potencial muito grande de o artigo ser bem citado. Mas ele foi mesmo bem citado? Vamos olhar para as citações, o desempenho em redes sociais, o impacto para o desenvolvimento regional, vamos olhar com mais atenção para publicações em revistas nacionais que estão no Scielo… São muitas ferramentas que vão evoluir até 2029, e nos permitirão realizar essas medições com eficiência."

Para a professora Maria Valnice Boldrin Zanoni (IQ-Ar-Unesp), pró-reitora de Pós-Graduação da Unesp, a avaliação quadrienal fica "muito mais humanizada" com as mudanças. "Ela se afasta do produtivismo para contemplar a formação da pessoa em toda a sua plenitude: uma pessoa qualificada, que saiba construir o conhecimento, aplicá-lo, preservá-lo e transmiti-lo. Um verdadeiro agente transformador da sociedade", descreve a docente. "Mas além de estarem aptos a interferir na sociedade, queremos doutores e doutoras com amplitude de conhecimento e ética, sintonizados com o mundo contemporâneo, que pesquisem e trabalhem considerando as questões sociais, ambientais, os direitos humanos, a democracia…."

Saiba mais: https://youtu.be/Pr8eInu8BkE?si=FG40wNsbUBNPw6uG

Fonte: Texto: Mario Henrique Viana (Assessoria de Imprensa da SBQ)