RMMG - Revista Médica de Minas Gerais

Educação Médica

Percepção do processo de avaliação pelos docentes da faculdade de medicina da Universidade Federal de Minas Gerais

The process of evaluation according to the teachers from the medical school of the Federal University of Minas Gerais

Gláucia Manzan Queiroz de Andrade¹; Eliane Dias Gontijo²; Maria Regina de Almeida Viana³; Kidner Pablo Picanço Castro⁴; Fabiano Barbosa Novais⁴; Juliana de Brito e Mello⁴; André Queiroz de Andrade⁴; Luiz Gonzaga Torres Júnior⁴; Lícia Campos Valadares⁴; Carolina Collares de Oliveira⁴; Cristiano Túlio Maciel Albuquerque⁴

1. Professora do Departamento de Pediatria da FMUFMG; Doutoranda em Pediatria
2. Professora do Departamento de Medicina Preventiva e Social; Doutora em Medicina
3. Professora do Departamento de Pediatria da FMUFMG; Doutora em Medicina
4. Aluno do Curso de Graduação da Faculdade de Medicina da UFMG; Bolsista PAE da UFMG

Data de Submissão: 28/10/2003
Data de Aprovação: 19/04/2004

Faculdade de Medicina/UFMG. Belo Horizonte

Resumo

O exercício da medicina requer, além de conhecimentos teóricos, habilidades e atitudes que deverão ser desenvolvidas na graduação. Na busca constante de melhoria na qualidade do ensino, o processo de avaliação é primordial, por determinar efeitos sobre o que e como os alunos aprendem e permitir avaliar indiretamente a própria instituição em sua missão de formar profissionais aptos para o exercício profissional, que demonstrem sua competência técnica e preocupação social. Como parte das discussões do processo de mudança curricular em discussão na FM-UFMG, verificou-se a necessidade de conhecer a atual metodologia de avaliação utilizada pelos professores. Para isso, foram aplicados questionários semi-estruturados aos professores sobre o processo de avaliação utilizado. Os resultados obtidos foram analisados por meio do software EPI INFO 6.0.
Os resultados sugerem um conhecimento insuficiente dos professores em relação ao significado da avaliação, dos conceitos de habilidade e atitude, além da não-valorização do processo de avaliação em um contexto mais amplo de ensino/aprendizagem. A percepção desse processo e a insatisfação do corpo docente com os critérios atuais demonstram um momento propício para a implantação de um novo modelo de avaliação.

Palavras-chave: Educação médica; Avaliação educacional; Escolas médicas; Brasil

INTRODUÇÃO

Diante da atual realidade do ensino médico no Brasil, caracterizada pelo questionamento da qualidade de cursos oferecidos pelas diversas instituições, torna-se imprescindível o estudo de mecanismos de aprimoramento desses cursos. Sendo a avaliação um componente intrínseco ao processo de aprendizado, é fundamental o conhecimento acerca dos métodos disponíveis e de estratégias para torná-la instrumento eficaz de ensino.

É incontestável a importância da avaliação no processo ensino/aprendizagem, tendo como objetivo geral acompanhar o desenvolvimento acadêmico, permitindo a identificação de falhas por docentes e alunos e sua imediata correção. Além disso, os métodos e o conteúdo escolhidos terão um profundo efeito não só sobre o que os alunos aprendem mas como eles aprendem¹.

No ensino médico, a avaliação adquire características muito peculiares devido à complexidade dos fatores envolvidos na aquisição de competências pelo acadêmico: não deve contemplar apenas aspectos cognitivos, mas também aferir as habilidades desenvolvidas, a capacidade de elaborar raciocínios clínicos, a ética e aspectos interpessoais de comportamento e performance².

Os professores de medicina, que possuem responsabilidade sobre a seleção de processos de avaliação, deveriam possuir conhecimentos sobre os testes educacionais disponíveis. Entretanto, isso não ocorre. A inadequação do sistema de avaliação no ensino médico configura-se um desafio mundial², evidenciado pela incrível escassez de estudos sobre o assunto. Nota-se, ainda, na bibliografia pesquisada, a tendência para adotar-se um processo de avaliação somativa, avaliando-se a grade curricular pelo desempenho do aluno, com maior ênfase aos conhecimentos adquiridos pelos alunos na área cognitiva do que às habilidades psicomotoras^2-4. Justifica-se, portanto, a importância de um trabalho de inquérito para a construção e implantação de projeto de avaliação formativa.

O Colegiado da FM-UFMG tem-se preocupado com a incoerência entre a abordagem predominantemente prática do curso oferecido e a avaliação centrada no conteúdo cognitivo. Desde 1999, a Comissão Permanente de Avaliação vem desenvolvendo um modelo de avaliação que inclui habilidades e atitudes, num processo sistematizado, com enfoque formativo. Verifica-se, entretanto, certa dificuldade operacional de alterar essa prática em curso com grande número de alunos. A identificação dos critérios de avaliação utilizados nas atividades docentes poderia ser uma estratégia eficaz. Este artigo é resultado da iniciativa da Comissão Permanente de Avaliação (CPA) da FMUFMG de identificar o nível de conhecimento das técnicas e objetivos da avaliação pelo corpo docente. Descreve a percepção dos professores de medicina do ciclo profissional (5º ao 12º períodos) sobre o processo de avaliação e os critérios utilizados nas diversas disciplinas que compõem a grade curricular. Discute, ainda, alguns aspectos do perfil dos professores da FM e sua opinião sobre a importância dos diferentes métodos de avaliação.

METODOLOGIA

A Comissão Permanente de Avaliação (CPA) da FMUFMG é assessora do Colegiado de Curso Médico e é composta por docentes e discentes da área médica. Essa comissão tem desenvolvido trabalho de revisão dos métodos de avaliação utilizados na Instituição e elaboração de proposta para sistematização da avaliação de habilidades e atitudes no curso. Como parte dessa proposta, foi elaborado questionário semi-estruturado para avaliar as atividades exercidas pelos professores, sua percepção das habilidades e atitudes fundamentais para a formação do aluno, das finalidades da disciplina, a sua valorização da avaliação no processo de ensino, assim como os critérios usados pelo professor na sua avaliação (ANEXO 1). O questionário contém 13 questões e deveria ser respondido por todos os professores do ciclo profissional do curso de Medicina. O processo de pesquisa passou por vários momentos: distribuição do questionário, pelos alunos representantes de turma aos professores das disciplinas que estavam cursando, para preenchimento; devolução dos questionários aos monitores do colegiado; elaboração do banco de dados e análise, utilizando-se o pacote estatístico EPI INFO 6.0. As questões abertas foram lidas pelos pesquisadores-docentes envolvidos nesse estudo e consolidadas em tabelas. Foram realizadas análises de freqüência e, para estabelecer a existência ou não de associações entre as variáveis estudadas, foi utilizado o teste do Qui-quadrado, considerando-se o valor de 5% (p=0,05) como limiar de significância estatística.

RESULTADOS

O ciclo profissional do curso de Medicina da FMUFMG conta com 400 professores, dos quais 177 (44,2%) responderam aos questionários. O perfil dos respondentes revela que 94 (56,6%) docentes trabalham em regime de dedicação exclusiva na Universidade, 122 (73,9%) são mestres ou doutores, 81 (45,8%) atuam no ciclo propedêutico, 89 (50,3%) no ciclo ambulatorial e 34 (19,2%) nos internatos.

A aquisição de habilidades e atitudes faz parte dos objetivos das disciplinas ministradas na avaliação de 168 (96%) dos professores entrevistados. Quando solicitados a citar três habilidades e atitudes que consideravam fundamentais na disciplina em que exerciam a docência, 48 (27%) professores confundiram os conceitos de habilidade e atitude. As habilidades e atitudes mais citadas estão listadas nas Figuras 1 e 2.

Figura 1 - Habilidades a serem adquiridas pelos alunos da graduação do curso médico da FMUFMG, julgadas fundamentais pelos 168 professores do ciclo profissional.

Figura 2 - Atitudes a serem adquiridas pelos alunos da graduação do curso médico da FMUFMG, julgadas fundamentais pelos 168 professores do ciclo profissional.

Observou-se que os professores, ao avaliarem os alunos, atribuíam 50% da nota total aos conhecimentos cognitivos, 25,2% às habilidades e 24,8% às atitudes. É interessante ressaltar que houve diferença significativa (p=0,000) nessa ponderação, de acordo com a área de atuação dos professores (Clínica Médica, Cirurgia, Propedêutica Complementar). Os professores de Cirurgia, apesar do conteúdo prático da área, valorizam mais o aprendizado cognitivo quando comparados aos professores de Clínica Médica (Figura 3).

Figura 3 - Proporção entre os valores atribuídos ao conhecimento cognitivo, às habilidades e atitudes, de acordo com a área de atuação dos professores (clínica médica, cirurgia e propedêutica complementar).

Entre os professores entrevistados, 115 (64,9%) consideravam que a avaliação praticada em sua disciplina era um instrumento para avaliar a disciplina/curso e 87 (49,1%) para aprovação/reprovação do aluno, sendo que a maioria (94,9%) não a considerava válida para avaliação do professor. Aproximadamente metade (47,4%) dos professores manifestou-se insatisfeita com os critérios de avaliação atuais, sem diferença significativa (p=0,77) em relação ao ciclo (propedêutico, ambulatorial e internato) em que o professor exercia a docência.

A afirmativa que se apresentou para ser comentada - "sistema de avaliação, mais do que qualquer outro elemento do currículo, é determinante do modo de aprender" - foi refutada por 100 (63,3%) professores e esse entendimento não diferiu (p=0,49) segundo a titulação dos professores (doutores, mestres ou especialistas).

Foram apresentados aos professores 14 critérios de avaliação, sendo o último aberto, para que indicassem o(s) que utilizavam na avaliação dos seus alunos (ver Tabela 1). Observou-se que 130 (75,6%) utilizavam "presença às aulas" como um dos critérios de avaliação dos alunos, o que confronta com as normas acadêmicas vigentes na Instituição. Achado interessante foi que 100 (58,1%) professores apontaram que "a avaliação deve ser feita em mais de um momento", condição fundamental para implantação de um modelo de avaliação formativa. Na Tabela 1, encontram-se descritos os critérios sugeridos, entre os que tradicionalmente são utilizados no curso médico, em ordem decrescente de freqüência, de acordo com a avaliação dos professores entrevistados.

Segundo 140 (91,5%) professores existem deficiências específicas na formação do aluno do curso médico da FMUFMG e, entre as mais citadas, encontram-se problemas ligados à proposta curricular e à infra-estrutura (abordagem inadequada de saúde mental e coletiva, valorização da formação técnica em detrimento da humanística, poucos recursos didáticos, pouco espaço no Hospital de Clínicas para os alunos, entre outras), deficiência na formação em urgência/emergência, dificuldade de acesso a novas tecnologias, falta de integração entre os ciclos básico/profissional.

Observou-se que 97 (56,7%) professores desconheciam a Ficha de Avaliação de Habilidades e Atitudes, introduzida um ano antes, como projeto piloto, apesar da ampla divulgação feita pelo Colegiado no âmbito dos departamentos. Apenas 30 (17,5%) já a haviam analisado. Em relação a essa Ficha, 60 (37,7%) professores consideraram a iniciativa boa e viável.

DISCUSSÃO

O processo de avaliação é fundamental em qualquer instituição de ensino, pois é por meio dele que são desenvolvidos mecanismos internos de controle de qualidade do processo de ensino/aprendizagem e monitorizados o desenvolvimento de atitudes e habilidades clínicas fundamentais. Sem avaliação, uma faculdade de Medicina não tem condição de saber se o graduado está apto para o exercício da profissão, tampouco tem idéia de como, operacionalmente está desenvolvendo seu currículo.

O professor de Medicina é peça fundamental no processo ensino/aprendizagem; entretanto, muitos professores possuem insuficiente preparo didático-pedagógico, pois a graduação e a especialização do médico não têm como finalidade a formação de um professor⁵. Por isso, o professor, via de regra, se baseia nos modelos que conheceu como aluno para construir, empírica e intuitivamente, o seu "jeito" de ensinar, sem fazer reflexões individual ou coletivamente. Espera-se que seu desempenho profissional e de pesquisador tenha qualidade e que a competência didática ocorra como conseqüência natural. Dados de uma pesquisa da Comissão Interinstitucional Nacional de Avaliação do Ensino Médico - CINAEM (1997) - mostram que "ainda que a docência não se configure como profissão plena para os médicos, induzindo uma educação médica reprodutiva, a pós-graduação senso estrito e o trabalho em dedicação exclusiva foram variáveis-chave na explicação do desempenho docente"⁶. No estudo em análise, observa-se que mais da metade dos professores entrevistados trabalham em regime de dedicação exclusiva e têm titulação formal, representando docentes potencialmente comprometidos com o ensino. Portanto, embora uma porcentagem significativa dos docentes entrevistados possuísse características consideradas favoráveis para o bom desempenho da docência, houve relato de dificuldades devidas, provavelmente, a esse despreparo didático-pedagógico.

Bloom⁷ descreve três domínios do conhecimento que integram objetivos educacionais: cognitivo ("saber"), afetivo (atitudes, "saber ser") e psicomotor (ligado à motricidade, "saber fazer"). Esses três domínios não se inter-relacionam hierarquicamente, sendo os três igualmente importantes. É um erro pensar que um conteúdo possa ser transmitido apenas por uma série de aulas expositivas, pois esse conteúdo informativo pode ser facilmente obtido através de um computador ligado a uma rede mundial. Embora alguns professores entrevistados nesse estudo tenham se confundido ao listar habilidades e atitudes, percebe-se que existem conhecimento e valorização dos diversos domínios do conhecimento (cognitivo, habilidade e atitude), necessários à formação do médico. Observou-se, entretanto, que, mesmo em áreas com grande conteúdo de habilidades (Cirurgia), houve predomínio da avaliação cognitiva. Essa dificuldade também foi observada em outros estudos que avaliaram esse aspecto^8,9,10.

Na abordagem da avaliação do rendimento do aprendizado, devem-se ressaltar as conseqüências práticas do julgamento emitido pelos professores, pois uma aprovação benevolente e imerecida geralmente ameniza o fraco desempenho do curso, levando a prejuízos imensuráveis: prejudica o aluno desestimulando o estudo, não o informa sobre seu progresso no curso (avaliação formativa) e colabora para que ocorram, simultaneamente, níveis de formação heterogêneos¹¹. Não se pode, em nenhuma hipótese, negligenciar a responsabilidade certificativa inerente a qualquer instituição formadora.

Na FM-UFMG, as áreas clínicas, por trabalharem com pequenos grupos, poderiam utilizar mais adequadamente a avaliação por meio da observação, que é representada pela permanente apreciação do professor em relação ao desempenho do aluno. Essa forma de avaliação exige dedicação e interesse por parte do docente e, quando bem realizada, mostra-se extremamente eficaz. Para alcançar essa eficácia, a observação deve ser contínua, sistemática (critérios planejados e definidos de acordo com os objetivos propostos) e integral (contemplando o conjunto das atividades exercidas). A técnica de avaliação escolhida deve ser válida (avalia o que se pretende medir), objetiva (deve fugir do subjetivismo), factível, confiável, fidedigna (deve permitir resultados reprodutíveis) e oportuna². Os alunos se beneficiam de um processo adequado de avaliação, pois cabe ao professor a responsabilidade de distinguir os que adquiriram as competências para desempenhar as tarefas profissionais daqueles que não o fizeram e, em igual importância, a avaliação também se presta ao estímulo ao estudo (atribuir o mesmo grau a todos os alunos leva à insatisfação e ao desestímulo ao estudo) e ao aperfeiçoamento do próprio processo de ensino-aprendizagem. O que se observa nesse estudo é a falta de sistematização da observação, o que implica resultados diferentes e menos eficazes.

Atualmente, observa-se que o processo de avaliação na FMUFMG, semelhante ao que ocorre em outras faculdades, é falho, com métodos e testes empregados de forma arbitrária, sem atenção adequada aos objetivos de aprendizagem e às competências desejadas, privilegiando a avaliação do conhecimento cognitivo. Deve-se ressaltar que mais da metade dos professores entende que a avaliação não determina o modo de aprendizagem dos alunos. Estudos sobre esse tema demonstraram que os alunos direcionam, sim, o conteúdo e o método de estudo de acordo com o método de avaliação - chamado de currículo oculto¹¹. Esse efeito é facilmente observado em disciplinas eminentemente práticas, que utilizam provas de múltipla escolha, mais específicas para o conteúdo cognitivo e freqüentemente inadequadas para avaliar as habilidades clínicas.

Coles¹¹ descreve que estudantes que se sentiram sobrecarregados com a exigência de memorização do conteúdo perderam o interesse e a motivação, tornaram-se desatentos em relação ao trabalho, falharam, ao não notar a relevância do que tinham estudado no início do curso, e comprometeram grande quantidade de conhecimento ao memorizar e rapidamente esquecer o que tinham aprendido.

Um curso de qualidade necessita, portanto, de critérios de avaliação bem determinados e aplicáveis ao universo dos alunos. A diversidade dos critérios utilizados pelos docentes entrevistados é demonstrada nesse estudo, com destaque para a valorização, como critério avaliativo, da presença às aulas, o que, além de inadequado, contraria as normas acadêmicas que permitem a ausência em 25% das atividades didáticas.

O desenvolvimento do processo de avaliação em mais de um momento durante a disciplina, propiciando ao aluno uma análise crítica dos próprios resultados (avaliação formativa), foi considerada necessária por 58,1% dos entrevistados. Este resultado, associado à insatisfação de aproximadamente metade dos docentes com os métodos avaliativos em uso, aponta para a necessidade de mudanças. Metodologias para a avaliação de habilidades e atitudes utilizadas em algumas escolas médicas, como a avaliação por estações - OSCE (apresentação aos alunos de sucessivos problemas clínicos, com pacientes previamente escolhidos em várias áreas, e avaliação, pelo professor, da conduta adequada, do raciocínio clínico, etc) e utilização de pacientes simulados (atores) requerem estrutura complexa, operacionalmente complicada, principalmente em escolas com grande número de alunos¹². Portanto, é necessário que cada instituição encontre os métodos de avaliação adequados à sua estrutura, levando em conta os objetivos educacionais, o que tem motivado a intensificação do trabalho da Comissão Permanente de Avaliação na sensibilização e capacitação dos docentes para o desenvolvimento de uma avaliação que permita o exercício do controle permanente do processo ensino/aprendizagem e dos seus resultados, contribuindo para o adequado planejamento do ensino. O primeiro passo para estabelecer mudanças é adquirir familiaridade com métodos de avaliação e buscar informações sobre os testes quanto à sua validade, fidedignidade e praticabilidade¹³.

Estudo realizado na Faculdade de Medicina de Ribeirão Preto mostrou que é reconhecida a ausência no sistema de ensino superior brasileiro de uma "cultura de avaliação", e tanto estudantes como professores tendem a considerar os procedimentos de avaliação como algo destinado a "punir alguns estudantes e premiar outros"³. Os autores reconhecem a necessidade de mudanças contínuas no programa de avaliação, visando a seu aperfeiçoamento global.

A organização e a preparação dos exames na graduação são, muitas vezes, realizadas por pessoal não capacitado. Mesmo percebendo a importância da avaliação bem feita e do desenvolvimento de novos instrumentos para isso, há poucas evidências de mudanças, embora se reconheça que avaliação é um dos principais temas do futuro na educação médica.

Nas faculdades de Medicina brasileiras identifica-se uma preocupação desigual com cada um dos elementos que caracterizam seu compromisso: ensino, pesquisa e assistência^5,6. Enquanto as duas últimas são, em geral, motivo de análise e planejamento, a tarefa docente recebe menos investimento. Mesmo as escolas que apresentam bom desempenho no ensino de graduação almejam torná-lo ótimo e, para tal, são necessários investimentos na qualificação do docente para valorização do processo avaliativo.

Newble² conclui que pressões de dentro (para melhor direcionar a aprendizagem) e fora (para satisfazer revisões externas) das escolas médicas farão com que aumente a ênfase na melhoria da qualidade dos métodos de avaliação. Esse processo levará a descobertas de que, por exemplo, os testes de múltipla escolha não estão indicados para testar habilidades e capacidade de tomada de decisões, aspectos importantes para a prática médica. A principal área de preocupação na avaliação do graduando em medicina, no momento, é a avaliação de habilidades e atitudes¹⁴.

Um sistema de avaliação adequado aos objetivos educacionais, apesar de constituir um dos pilares essenciais do ensino, constitui tarefa difícil e complexa, exigindo docentes capacitados para o domínio das bases conceituais e técnicas do processo, que compreendam que, na realidade, o processo de avaliação é mais um problema de planejamento educacional do que uma questão psicométrica.

A instituição, representada pelo seu corpo docente, deve garantir para a sociedade que o concluinte do curso médico foi avaliado adequadamente não somente em relação à aquisição de conhecimentos, mas também em relação à aquisição das competências técnicas, considerando os avanços da ciência e da tecnologia e a incorporação de valores essenciais para o adequado exercício profissional.

REFERÊNCIAS BIBLIOGRÁFICAS

1- Ribeiro ECO. Ensino/aprendizagem na escola médica. In: Marcondes E, Gonçalves EL, editores. Educação médica. São Paulo: Sarvier; 1998. p. 40-9.

2- Newble D. Assesment. Medical education in the millennium. Oxford; 1998. p.131-42.

3- Troncon LEA, Figueiredo JFC, Rodrigues MLV, Peres LC, Cianflone ARL, Picinato CE, Colares MFA. Implantação de um programa de avaliação terminal do desempenho dos graduandos para estimar a eficácia do currículo na Faculdade de Medicina de Ribeirão Preto. Rev Assoc Med Bras 1999;45(3).

4- Francisconi CFM, Lopes MHI. Avaliação objetiva no ensino médico. Rev AMRIGS 1991;35(2):116-9.

5- Batista NA. Formação do professor de medicina: desafios e perspectivas. In: Marcondes E, Gonçalves EL, editores. Educação médica. São Paulo: Sarvier; 1998. p.31-9.

6- CINAEM. Relatório geral 1991-1997. Avaliação do ensino médico no Brasil. Brasília, CINAEM; 1997. (Apostila)

7- Bloom BS. Taxonomy of educational objectives: The classification of educational goals. New York: Mc Kaay; 1956.

8- Bordin R, Arenson-Pandikow HM, Stoduto FD. Introdução à prática médica: avaliação do treinamento em habilidades psicomotoras. Rev HCPA 1993;13(2):73-6.

9- Arenson-Pandikow HM, Bordin R, Krimberg M, Stoduto FD. Técnica operatória: projeto integrado de avaliação do ensino médico. Acta Cir Bras 1994;9(4):201-4.

10- Bordin R, Arenson-Pandikow HM, Boeck MR. Ginecoobstetrícia: projeto integrado de avaliação do ensino médico. J Bras Ginecol 1994;104(7):205-8.

11- Coles C. How students learn: the process of learning. Medical education in the millennium. Oxford, 1998. p.63-82.

12- Fujimura I. Avaliação do aluno. In: Marcondes E, Gonçalves EL, editors. Educação médica. São Paulo: Sarvier; 1998. p. 248-61.

13- Gonçalves EL. Definição de objetivos educacionais e de instrumentos de avaliação no ensino médico. R Bras Educ Méd 1987;11(1):12-8

14- The Medical School Objectives Writing Group. Learning Objectives for Medical Student Education. Guidelines for Medical schools: report of the Medical School Objectives Profect. Acad Med 1999;74(1):13-8.

ANEXO 1