RMMG - Revista Médica de Minas Gerais

Educação Médica

O tamanduá olímpico a caminho da obesidade científica

The Olympic anteater on his way to scientific obesity

Luiz Oswaldo Carneiro Rodrigues¹; Nilton Alves de Rezende²

1. Professor Titular aposentado na UFMG, pesquisador 1C do CNPq e membro do Centro de Referência em Neurofibromatose do HC-UFMG. Belo Horizonte, MG - Brasil
2. Professor Associado do Departamento de Clínica Médica da Faculdade de Medicina da UFMG e Coordenador do Centro de Referência em Neurofibromatose do HC-UFMG. Belo Horizonte, MG - Brasil

Recebido em: 12/05/2010
Aprovado em: 18/05/2010

Instituição: Hospital das Clínicas da Universidade Federal de Minas Gerais - HC/UFMG. Belo Horizonte, MG - Brasil

Resumo

Um artigo anterior mostrou que os critérios utilizados pelos órgãos financiadores da pesquisa para escolher os projetos a serem contemplados com bolsas e recursos constituem uma pressão institucional pela publicação mais em quantidade do que em qualidade, o que pode induzir a distorções do fazer científico. Foi usada uma metáfora: o tamanduá tentando participar dos Jogos Olímpicos, para ilustrar a situação dos cientistas de outros países que não têm o inglês como sua língua nativa, os quais têm que participar de dura competição para publicar suas pesquisas em inglês. O presente texto discute as repercussões do artigo anterior e o que aconteceu com os exemplos de pesquisadores que publicam excessivamente, citados anteriormente. Novos dados apresentados sugerem o aumento da publicação brasileira de baixo impacto, uma espécie de obesidade científica. Sugestões são apresentadas para o estímulo à produção de melhor qualidade em vez de quantidade, entre elas que seja considerada na análise dos currículos apenas a qualidade das cinco publicações mais relevantes indicadas pelo próprio cientista que as produziu.

Palavras-chave: Comunicação e Divulgação Científica; Indicadores de Produção Científica; Cultura; Ciência; Sistemas de Financiamento da Pesquisa; Produção Científica; Hegemonia Cultural; Financiamento da Ciência.

INTRODUÇÃO

Num artigo anterior - "Publicar mais ou melhor? O tamanduá olímpico"¹ -, foi realizada breve análise da ciência produzida no Brasil, mostrando que há mecanismos perniciosos² que privilegiam aqueles que já contam com recursos no momento da disputa por financiamento para a pesquisa. No julgamento dos pareceristas ad hoc, sua decisão costuma levar mais em conta o número de trabalhos publicados em inglês do que o conteúdo do projeto de pesquisa, o que gera distorções³ e pressão por resultados publicáveis, o que, em última análise, pode estimular conclusões falsas.⁴ Escrever suficientemente bem em inglês dificulta enormemente a publicação dos conhecimentos gerados por todos os cientistas que não têm o inglês como língua mãe.⁵ Neste contexto, a produção brasileira vem crescendo nos artigos indexados mundialmente⁶, embora sem o correspondente crescimento no número de citações, ou seja, a qualidade estaria diminuindo.

Para exemplificar os efeitos maléficos desse sistema sobre os cientistas, foram analisados os currículos verdadeiros de dois pesquisadores brasileiros (mantidos anonimamente como doutores A e B), ambos, na época, pertencentes ao quadro de pesquisadores do CNPq. O indivíduo A publicara nos últimos três anos um artigo e meio por mês (18 por ano), o que significa que ele e sua equipe seriam capazes de concluir uma pesquisa e meia por mês (para dispor de dados originais) ou teriam concebido uma nova teoria científica a partir de dados antigos duas vezes por mês. Dessa produção, no entanto, 31 artigos haviam sido publicados numa revista na qual o doutor A era o próprio editor! Não é preciso comentar mais.

Já o doutor B atingiu a marca semelhante de 1,58 artigos por mês (18,9 por ano), mas em artigos em inglês. Comparados com os últimos (até 2007) ganhadores do Prêmio Nobel em Medicina - J. Robin Warren (2005) e Craig C. Mello (2006) -, observou-se que Warren publicara 1,6 e Mello 2,8 artigos por ano, o que sugere que quantidade não é sinônimo de qualidade. Embora os dois exemplos (A e B) tenham sido encontrados sem muita dificuldade entre os contemplados com a Bolsa de Produtividade do CNPq, sabia-se que eles não deveriam representar a maioria dos pesquisadores brasileiros e foram analisados apenas para demonstrar a falha no sistema de avaliação dos currículos.

Mostrou-se também que a insatisfação com os critérios de aprovação de verbas para a pesquisa o com o sistema competitivo por recursos é um problema internacional e que, ao final, a sonhada publicação ainda está sujeita à decepcionante constatação de que a desonestidade científica nas publicações cresceu tanto nos últimos anos que a credibilidade das revistas e do sistema de revisão por pares vem sendo questionada. Há quem suspeite que os periódicos biomédicos sejam uma extensão da divisão de marketing das companhias farmacêuticas⁷ e que elas contratam autores fantasmas para produzir artigos e colocar o nome de médicos neles.⁸ A competição excessiva e as pressões do mercado são tão fortes que foi criado um site exclusivamente para detectar pesquisadores que estão relacionados à indústria ou a interesses econômicos e políticos.⁹

REPERCUSSÕES DO PR IMEIRO ARTIGO

Após sua publicação, o "tamanduá olímpico" foi reproduzido em blogs, sites universitários: Observatório da Universidade, 2008: <http://observatoriodauniversidade.blogspot.com/2008/06/publicar-mais-ou-melhor-o-tamandu.html>; e Democracia e transparência em C&T, 2009 http://democracia-e-transparencia-em-ct.blogspot.com/2009/12/publicar-mais-ou-melhor-o-tamandua.html, discutido como referência bibliográfica em cursos de pós-graduação (na USP, na disciplina Docência no Ensino Superior do Curso de Pós-Graduação em Educação Física e na UFMG nas disciplinas sobre ética na pesquisa dos Cursos de Pós-Graduação em Doenças Tropicais e Ciências Aplicadas à Saúde do Adulto), e trouxe alguma polêmica sobre as questões levantadas, além de ensejar o convite do Professor Ênnio Leão para escrevermos o presente artigo. A maioria dos comentários recebidos concorda que a publicação em inglês é uma barreira para os brasileiros, a qual adiciona custos financeiros e dificuldades de interlocução científica.

Alguns cientistas reafirmaram as conclusões do artigo de que o atual sistema de avaliação dos pesquisadores pelos órgãos de fomento estimula mais a quantidade do que a qualidade das publicações e que esse sistema deveria ser melhorado. Outros, embora admitissem as principais conclusões do artigo, adotaram postura mais resignada, admitindo que a competição é da natureza humana e da produção científica e há pouco ou nada a se fazer, uma vez que se trata de um sistema internacional, como, aliás, o próprio artigo indicava. Voltaremos a essa postura adiante.

Outros leitores apresentaram duas críticas interessantes: a) os dois prêmios Nobel foram escolhidos arbitrariamente ou representariam uma tendência entre os agraciados? b) os doutores A e B representariam a maioria dos pesquisadores brasileiros ou eles seriam apenas exceções? Essas ponderações merecem ser respondidas objetivamente.

Considerando a primeira questão, foi ampliado o quadro com outros oito agraciados com o Nobel de Medicina nos últimos 10 anos e vasculhados seus artigos no sistema de procura Pubmed, evitando ao máximo a confusão com homônimos. Encontraram-se os dados apresentados na Figura 1, que mostram que há predominância de norteamericanos entre os agraciados e também entre aqueles que publicam mais. Quatro deles (dois alemães, um sueco e um ítalo-americano) são os que aparecem menos no sistema Pubmed e assim esses achados parecem concordar com Meneghini e Packer⁵ e com nosso artigo anterior sobre a grande dificuldade da expressão do conhecimento científico para aqueles que não têm o inglês como primeira língua materna.¹⁰ Além disso, detecta-se que a taxa média de publicação por ano dos últimos 10 agraciados com o Nobel em Medicina foi de 2,5 ± 1,9 artigos por ano, algo 10 vezes menos do que de nossos doutores A e B.

Figura 1 - Taxa anual de publicação em artigos capturados pelo sistema de procura Pubmed para os 10 últimos agraciados com o Prêmio Nobel em Medicina, considerando-se toda a sua vida ativa como cientistas. Quando havia mais de um premiado, foi feita escolha aleatória entre um deles. A média de idade dos cientistas no ano em que foram agraciados foi de 66,0 ± 9,1 anos, com 36,0 ± 9,1 de atividade científica.

A seguir, ampliou-se o quadro de cientistas brasileiros, sorteando 10 entre aqueles do nível 1 A do CNPq, na área de Medicina, que possuem José, João ou Maria no nome. O resultado mostrou que a média brasileira de publicações por ano foi de 6,2 ± 2,1 artigos por ano capturados no sistema Pubmed, com a média de 57,9 ± 8,8 anos de idade e 27,9 ± 8,8 anos de atividade profissional. Comparando-se a média brasileira com a média dos agraciados com o Nobel, encontrou-se alta taxa de publicação entre os brasileiros (p=0,006), o que sugere que essa maior quantidade da produção não tem sido de qualidade suficiente para, por exemplo, gerar prêmios Nobel, o que se assemelharia a uma espécie de obesidade científica. (Figura 2)

Figura 2 - Comparação da taxa anual de publicação entre prêmios Nobel e pesquisadores nível 1 A do CNPq, ambos em Medicina.

Em número de artigos por ano que foram capturados pelo sistema de procura Pubmed, considerando-se os últimos 10 agraciados com o Prêmio Nobel de Medicina (1999-2009) e 10 pesquisadores do CNPq nível 1 A com atuação na área da Medicina, estes últimos foram escolhidos de forma aleatória no Sistema Lattes de Currículos entre 09 e 12 de abril de 2010 (*:p=0,0006). Foram considerados todos os artigos capturados e divididos pelo tempo de vida profissional, admitindo-se que o seu início se daria aos 30 anos de idade para a formação acadêmica até o doutorado.

Pode-se argumentar que aqueles que recebem o Nobel seriam indivíduos mais velhos e que foram agraciados pelos seus trabalhos numa outra época, na qual as possibilidades e pressões pela publicação seriam mais reduzidas. De fato, comparados com os cientistas brasileiros, os Nobel são ligeiramente mais velhos (p=0,053) e com mais tempo de atividade científica (p=0,053), mas todos os agraciados estavam ativos no momento de sua indicação. Assim, embora existam muitos cientistas internacionais de grande importância na Medicina que não receberam o Nobel (pelo menos não ainda) e que possuem taxa de publicação mais alta do que a média dos agraciados aqui apresentada, isto não parece invalidar a escolha dos agraciados como um grupo de comparação e referência para os pesquisadores brasileiros.

A seguir, foi reavaliada a situação atual dos doutores A e B, verificando que desde 2007 o doutor A deixou de ser pesquisador do CNPq, mas publicou 104 artigos completos (34,6 artigos por ano), dos quais apenas quatro foram capturados pelo sistema Pubmed, aumentando assim as publicações de acordo com seu modus operandi anterior. Enquanto isso, o doutor B continua, em 2010, como pesquisador do CNPq e publicou 149 artigos capturados pelo Pubmed, também dobrando sua já impressionante marca anterior, ou seja, 29,8 artigos por ano. Desta forma, os dados apresentados em 2007 não se constituíam em casualidade para aqueles indivíduos (ao contrário, uma norma de conduta), mas, diante da média apresentada pelos 10 pesquisadores sorteados, os doutores A e B provavelmente não representam a maioria dos cientistas brasileiros. No entanto, pode-se garantir que há outros casos com taxas mais altas de publicação do que estes A e B, o que pode ser facilmente conferido no banco de currículos da Plataforma Lattes.

Os dados aqui apresentados reforçam o pensamento de que o sistema atual de avaliação dos projetos para financiamento das pesquisas (que se espalhou para outras atividades de julgamento da competência científica em diversas áreas, como concursos para vagas docentes, etc.) pode estar estimulando a publicação mais em quantidade do que em qualidade.¹¹

CONCLUSÕES

Sabe-se que aperfeiçoar os critérios de avaliação da produtividade científica não se trata de um problema de fácil solução. E apenas nesse ponto concordamos com os resignados, pois todos os sistemas hegemônicos carregam consigo a suposição de sua imutabilidade, enquanto desfrutam o período de sua dominância (imagine-se há 200 anos alguém defendendo a ideia de que a escravidão deveria ser considerada um crime hediondo). Por outro lado, levando em conta a natureza humana, na qual a ética somente floresce se adubada pelo altruísmo recíproco, é possível reconhecer que é preciso propor modificações que favoreçam os pesquisadores atuais a se preocuparem mais com a relevância do conhecimento produzido do que com o número de publicações conseguidas.

Assim, ousamos sugerir algumas ideias que poderiam, quem sabe, facilitar essa transição da quantidade para a qualidade:

Em todas as oportunidades de avaliação dos projetos de pesquisa, um dos quesitos seria valorizar a qualidade científica das cinco principais publicações (independentemente da data de publicação e já indicada atualmente pelos pesquisadores em seus currículos). Para isto, seria criado espaço na Plataforma Lattes para que o texto completo fosse inserido e pudesse ser avaliado na íntegra. O autor teria espaço suficiente para explicitar a relevância do trabalho. É possível que com isto se tenha menos pressa em publicar em qualquer lugar ou revista e procure-se melhorar a relevância do que se publica.

Esses critérios poderiam também ser adotados na avaliação de títulos nos concursos públicos. No caso específico em que o concurso fosse para professor e não para pesquisador, a ponderação na avaliação das publicações deveria ser reconsiderada.

A alocação de Bolsas de Iniciação Científica para Professores Pesquisadores deveria ser realizada considerando-se o mérito do projeto e sorteio no quesito da avaliação do currículo. Essa medida permitiria mais inclusão daqueles situados abaixo da linha de pobreza científica, pelos atuais métodos de avaliação.

Valorizar os conhecimentos publicados também em português, de preferência de forma simultânea, em publicações on-line e públicas.

É evidente que apenas essas medidas não seriam isoladamente capazes de estimular a relevância científica e social dos projetos de pesquisa e sua consequência, as publicações. Da mesma forma, pode não ser a melhor alternativa de seleção de candidatos a cargos públicos na carreira docente e na iniciação científica. No entanto, seriam passos importantes em direção a um novo horizonte.

REFERÊNCIAS

1. Rodrigues LOC. Publicar mais, ou melhor? O tamanduá olímpico. Rev Bras Ciênc Esp. 2007;29(1):35-48. [Citado em 2010 jun. 10]. Disponível em: http://www.rbceonline.org.br/revista/index.php? journal=RBCE

2. de Meis L, Velloso A, Lannes D, Carmo MS, De Meis C. The growing competition in Brazilian science: rites of passage, stress and burnout. Braz J Med Biol Res. 2003;36:1135-41.

3. Rumjanek F. Ciência burocrática. Rev Ciênc Hoje. 2006;233:32.

4. Ioannidis JPA. Why most published research findings are false. PloS Méd. 2005;2(8):e124.

5. Meneghini R, Packer AL. Is there science beyond English? Euro Mol Biol Organ Rep. 2007;8(2):112-6.

6. Zorzetto R, Razzouk D, Dubugras MTB, Gerolin J, Schor N, Guimarães JA, Mari JJ. The scientific production in health and biological sciences of the top 20 Brazilian universities. Braz J Med Biol Res. 2006;39:1513-20.

7. Leite M. Editores debatem sobrevida de periódicos. Folha de São Paulo, Ciência, 8 out. 2005.

8. Escritores-fantasma e comércio de trabalhos científicos na internet: a ciência em risco... Folha de São Paulo, 7 dez. 2003

9. Integrity in sciences. A CSPI Project. The Integrity in Science Database. [Citado em 2010 jul. 01]. Disponível em: http://www.cspinet.org/integrity/

10. Madeleine BLL. Lost in translation. Nature. 2007;445:454-55.

11. Parnas DL. Stop the numbers game. Counting papers slows the rate of scientific progress. Am Coll Med. 2007;50(11):19-21.