28/09/2017

Os índices e seus limites

Em meio ao turbilhão de problemas que toma conta da vida nacional, o ano de 2017 trouxe uma grata notícia: o avanço no desempenho das revistas científicas do Brasil. Semelhante ao que acontece na economia, no circuito competitivo da publicação dos resultados científicos são adotadas métricas que tentam mensurar (e, claro, comparar) o desempenho entre revistas e entre países.

A mais tradicional delas é o Fator de Impacto (FI). A matemática é baseada no número de vezes que os artigos de uma revista publicados nos últimos dois anos é citado em outros artigos. O Brasil melhorou visivelmente nesse índice: nossas publicações tiveram aumento médio de mais de 10%. Além disso, 33 superaram a fronteira do 1 ponto (há cinco anos, eram 12). Destaca-se a revista "Memórias do Instituto Oswaldo Cruz", que atingiu o FI 2,61, assumindo a liderança na América Latina.

Embora este êxito seja, sem dúvida, digno de destaque, não podemos deixar de estimular a discussão sobre as limitações do próprio índice. É amplamente debatido que o FI varia muito com a temática de cada revista. Na tentativa de superar esta questão, foi desenvolvido outro indicador, o Source Normalized Impact per Paper (SNIP), que ajusta o número de citações conforme a temática.

Segundo o SNIP, o Brasil ocupa um destacado décimo lugar no ranking do conjunto das revistas dos 15 países de maior produção científica — atrás de Holanda, Estados Unidos, Reino Unido, Alemanha, Coreia do Sul, Rússia, Austrália, Canadá e Índia, e na frente de Japão, China, Itália, Espanha e França. O papel do Programa SciELO, da Fapesp, que promove o profissionalismo e a internacionalização das revistas de qualidade do Brasil, está entre as razões deste bom desempenho.

Ora, discutir as métricas de citações de revistas científicas pode parecer um assunto para especialistas. Mas o fato é que essas métricas regem pesquisadores, instituições acadêmicas, revistas e agências de apoio à pesquisa. Em poucas palavras, elas influenciam diretamente a forma como se faz ciência hoje no mundo.

No horizonte, podemos vislumbrar movimentos para minimizar os efeitos do ranqueamento das revistas. O primeiro vem das Ciências Sociais e Humanidades, que questionam a cobertura e as aplicabilidades das métricas predominantes em suas revistas e buscam mecanismos alternativos de avaliação.

O segundo são as contundentes recomendações de que as avaliações das pesquisas e dos pesquisadores não sejam centradas no FI. A razão é uma simples questão de matemática: o cálculo do FI é feito anualmente pela média das citações nos últimos dois anos; mas, como a maioria dos artigos publicados numa revista nunca é mencionada, ela é beneficiada apenas por aqueles poucos que receberam muitas citações. O terceiro é o movimento do acesso aberto, que favorece a disponibilização dos artigos na web, em prol da equidade de acesso ao conhecimento científico.

Considerando o êxito crescente das revistas do Brasil na comunicação científica internacional, temos condições de iniciar um quarto movimento para minimizar a dependência em relação às métricas hegemônicas: assumir as revistas de qualidade do Brasil como alvo de publicação de resultados científicos produzidos pelo país e expressão da nossa capacidade de fazer ciência em todas as suas dimensões, numa virada de conduta que inclui pesquisadores, instituições acadêmicas e agências de fomento. No horizonte das revistas científicas brasileiras, o prelúdio dessas mudanças já pode ser notado.


Fonte: CDi/FAPESP