RMMG - Revista Médica de Minas Gerais

Volume: 26. (Suppl.5)

Voltar ao Sumário

Artigo Original

Desenvolvimento e validação do conteúdo da escala de percepções de dificuldades com o tratamento antirretroviral

Development and content validity of the perceived barriers with antiretroviral treatment scale

Celline Cardoso Almeida-Brasil1; Elizabeth do Nascimento2; Juliana de Oliveira Costa3; Micheline Rosa Silveira4; Palmira de Fátima Bonolo5; Maria das Graças Braga Ceccato6

1. Farmacêutica, Mestre em Saúde Pública, Doutoranda em Medicamentos e Assistência Farmacêutica na Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil
2. Psicóloga, Doutora em Psicologia, Professora associada da Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil
3. Farmacêutica, Mestre em Saúde Pública, Doutoranda em Saúde Pública na Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil
4. Farmacêutica, Doutora em Ciências Biológicas, Professora adjunta da Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil
5. Médica, Doutora em Saúde Pública, Professora adjunta da Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil
6. Farmacêutica, Doutora em Saúde Pública, Professora adjunta da Universidade Federal de Minas Gerais. Belo Horizonte, MG - Brasil.

Endereço para correspondência

Celline Cardoso Almeida-Brasil
E-mail: celline.cardoso@gmail.com

Instituiçao: Universidade Federal de Minas Gerais Hospital Eduardo de Menezes da Fundaçao Hospitalar de Minas Gerais (FHEMIG) Belo Horizonte, MG - Brasil

Resumo

INTRODUÇÃO: Pessoas vivendo com HIV (PVHA) devem ser devidamente orientadas para iniciar a terapia antirretroviral (TARV), sendo importante identificar as dificuldades de PVHA com o tratamento, no intuito de realizar intervenções para prevenir uma possível falha terapêutica.
OBJETIVOS: Desenvolver uma escala para avaliar a percepção de dificuldades de PVHA com a TARV e analisar sua validade de conteúdo.
MÉTODOS: Uma escala contendo 47 itens foi proposta a partir de um estudo qualitativo prévio e, entre junho e agosto de 2015, foi aplicada em 27 PVHA em tratamento no Hospital Eduardo de Menezes para avaliar a compreensão dos itens pela população alvo (análise semântica). Os itens foram modificados e avaliados por três juízes quanto à relevância, adequação e dimensionalidade, utilizando-se o coeficiente de validade do conteúdo e coeficiente kappa.
RESULTADOS: Após análise semântica os itens foram reduzidos para 40. Nenhum item foi excluído após análise de juízes, uma vez que todos foram considerados relevantes. Apenas 30% dos itens foram modificados após serem considerados inadequados. A maior dificuldade dos juízes foi classificar itens sobre a adequação do medicamento à rotina entre as dimensões.
CONCLUSÕES: Os resultados apontaram a adequação da escala ao conteúdo que ela pretende avaliar. A versão piloto da escala está sendo testada empiricamente e poderá ser usada no serviço de saúde, em nível individual, identificando os casos nos quais é necessário prover educação e aconselhamento ao paciente, bem como instrumento de pesquisa, em nível coletivo, para o planejamento de intervenções e de políticas públicas.

Palavras-chave: Infecções por HIV; Antirretrovirais; Adesão à Medicação; Estudos de Validação

 

INTRODUÇÃO

Desde 2013 recomenda-se no Brasil que a terapia antirretroviral (TARV) seja iniciada em todas as pessoas vivendo com HIV, independente da contagem de linfócitos CD4.1 Estima-se que 355 mil pessoas vivendo com HIV/aids (PVHA) recebam tratamento antirretroviral no Brasil, onde o acesso é gratuito e universal.2,3

Com a orientação de iniciar a TARV em todos os indivíduos diagnosticados, também adotada pela Organização Mundial da Saúde (OMS) em 2015, recomenda-se que os pacientes sejam devidamente preparados para receber a terapia. Os profissionais de saúde devem, portanto, avaliar as dificuldades de PVHA com a TARV no intuito de predizer a adesão ao tratamento e propor intervenções antes que a falha terapêutica ocorra.4,5

O construto "percepção de dificuldades" ou "perceived barriers" é definido como uma estimativa pessoal do nível de desafio dos obstáculos sociais, pessoais, ambientais e econômicos para um comportamento específico (no caso, adesão à TARV).6 As percepções de dificuldades foram identificadas como um dos mais fortes determinantes do comportamento em saúde.7 Instrumentos de avaliação do construto "percepção de dificuldades" já foram propostos para outras condições de saúde, como câncer8 e insuficiência cardíaca.9 Na área de adesão ao tratamento antirretroviral são poucos os estudos que avaliaram as dificuldades ou barreiras à adesão considerando sua natureza multidimensional.10,11

Diante do contexto apresentado, pretende-se com o presente estudo desenvolver e levantar evidências de validade de conteúdo de uma escala para avaliar a percepção de dificuldades de PVHA com a TARV. A validade, definida como a capacidade de um instrumento em medir as propriedades do construto, é um fator essencial para a seleção ou aplicação de um instrumento.12 Uma vez que a validade de conteúdo é um pré-requisito para a avaliação de outras validades12, deve receber prioridade durante o desenvolvimento de um instrumento.

 

MÉTODOS

A construção da Escala de Percepção de Dificuldades com o Tratamento Antirretroviral (escala PEDIA) foi delineada seguindo o modelo sugerido por Pasquali13, que é dividido em três blocos de procedimentos: teórico, empírico e analítico. O presente estudo contempla os procedimentos teóricos, que compreendem a definição do construto, o desenvolvimento dos itens e a validação do conteúdo. O produto resultante dos procedimentos teóricos é a versão piloto da escala, a ser testada empiricamente na população alvo (PVHA adultas e em tratamento ambulatorial para a TARV).

Este estudo faz parte do projeto ECOART - Efetividade da terapia antirretroviral em pessoas vivendo com HIV/tuberculose, HIV/hanseníase e HIV/leishmaniose visceral em Belo Horizonte, de delineamento longitudinal. O projeto está sendo realizado no Hospital Eduardo de Menezes (HEM), da Fundação Hospitalar do Estado de Minas Gerais (FHEMIG) e teve aprovação do Comitê de Ética em Pesquisa (COEP) sob o protocolo CAAE - 31192914.3.3001.5124.

Definição do construto

A percepção é um processo cognitivo, conceituado por Sternberg14 como "um conjunto de processos pelos quais reconhecemos, organizamos e entendemos as sensações que recebemos dos estímulos ambientais"14:115. A partir das informações sensoriais, o indivíduo cria um julgamento da situação, que irá refletir as propriedades do mundo externo.14 A "dificuldade" é definida como algo que impede ou separa o indivíduo de chegar a determinada meta.

A percepção de dificuldades foi originalmente concebida no Modelo de Crenças em Saúde (Health Belief Model) e refere-se a possíveis aspectos negativos de um determinado comportamento que podem agir como barreiras à realização desse comportamento.15 Trata-se de um construto social e cognitivo, posteriormente incorporado a outras teorias de comportamento em saúde. Na Teoria Social e Cognitiva (Social Cognitive Theory) o construto comporta-se como os determinantes parciais para a auto-eficácia e, na Teoria do Comportamento Planejado (Theory of Planned Behavior), como os fatores que dificultam ou facilitam o desempenho de um comportamento específico.6 Construtos que se relacionam com a percepção de dificuldades incluem crenças em saúde, auto-eficácia (ou seja, o nível de confiança do indivíduo em seguir o tratamento como prescrito), habilidade para resolução de problemas (como coping), representações de doença, facilitadores ou suporte (como suporte social), intenções de comportamento (como percepção de poder) e barreiras estruturais. Barreiras estruturais ou objetivas diferem-se das percepções de dificuldades por representar o julgamento das dificuldades em si e não o julgamento da intensidade e magnitude dessas dificuldades.6

A natureza multidimensional do construto inclui fatores que podem antecipar a não adesão e que são fundamentados por experiências passadas e fatores contextuais, como percepções de risco, histórico de adesão, ambiente social e físico, apoio social e interação com a equipe e sistema de saúde.6,16 Esses fatores podem ser classificados em: i. emocionais e cognitivos, por parte do paciente, como medo de relevar o status, falta de esperança e crenças religiosas; ii. organizacionais, como qualidade do serviço de saúde, fornecimento de medicamentos e relação paciente-profissional de saúde; iii. sociais e econômicos, como apoio social e problemas financeiros; e iv. inerentes à TARV, como complexidade do regime terapêutico, reações adversas e a influência do esquema terapêutico na rotina do paciente.16,17

Desenvolvimento dos itens

Os itens foram elaborados a partir de análise qualitativa prévia com a população alvo e arcabouço teórico oriundo de revisão da literatura sobre percepções de dificuldades com o tratamento antirretroviral.16

A análise qualitativa prévia consistiu de estudo transversal com 598 participantes vivendo com HIV/Aids, maiores de 18 anos e não gestantes, provenientes de diversas regioes do Brasil e atendidos em serviços públicos de saúde de diferentes níveis de qualidade (Projeto AVANT). Os participantes responderam a três perguntas abertas sobre dificuldades e facilidades com o tratamento antirretroviral e as respostas foram analisadas como um único corpus, por meio da análise do conteúdo. A análise resultou em 23 subcategorias (14 de dificuldades e nove de facilidades), organizadas em cinco grandes categorias: fatores socioeconômicos, fatores relacionados com a equipe/sistema de saúde, fatores relacionados à infecção pelo HIV, fatores relacionados à TARV e fatores relacionados ao paciente.16

A partir dessas informações, os itens foram elaborados com o auxílio de um especialista em desenvolvimento de itens por meio da transformação dos temas de dificuldades e facilidades em frases declarativas. Os itens foram operacionalizados sob a forma de escala do tipo Likert de 5 pontos, com as opções "discordo muito", "discordo um pouco", "nem concordo nem discordo", "concordo um pouco" e "concordo muito". A opção "não quis responder" foi incluída para ser utilizada de forma voluntária.

Validação do conteúdo

Para a validação do conteúdo, realizou-se a análise semântica e análise de juízes.

Análise semântica

O objetivo da análise semântica foi avaliar a compreensão dos itens pela população alvo. Realizou-se um estudo no Hospital Eduardo de Menezes entre junho e agosto de 2015 no qual os pacientes com HIV, independente do tempo de tratamento antirretroviral, foram convidados a participar após retirarem os medicamentos na farmácia do hospital. Os indivíduos que aceitaram participar da entrevista assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). A entrevista foi realizada face-a-face com um questionário estruturado que, além da versão teórica da escala PEDIA, continha questoes sobre características sociodemográficas, clínicas e comportamentais. Após a entrevista, solicitou-se que os pacientes apontassem sugestoes que melhorassem a compreensão dos itens da escala PEDIA.

Análise de juízes

Após as modificações sugeridas pela população alvo, a escala foi submetida à análise dos juízes, onde três especialistas foram convidados para verificar se a linguagem usada era adequada, se as questoes alcançavam as informações pretendidas, se o questionário era demasiado longo e provocava desinteresse, ou se as questoes eram ambíguas. As especialidades dos juízes convidados são: (i) Juiz 1 - farmacêutica, mestre em Saúde Pública/Epidemiologia e pesquisadora na área de tratamento do HIV/aids; (ii) Juiz 2 - farmacêutico, mestre em Medicamentos e Assistência Farmacêutica e pesquisador na área de adesão ao tratamento de doenças infecciosas; (iii) Juiz 3 - médica, mestre e doutora em Saúde Pública e pesquisadora na área de HIV/aids. Foi solicitado aos juízes que julgassem os itens do instrumento quanto ao grau de relevância para a medida do construto, ao grau de adequação da formulação (clareza da linguagem) e quanto à dimensão teórica que o item avalia (fatores emocionais e cognitivos, fatores organizacionais, fatores sociais e econômicos e fatores inerentes à terapia antirretroviral) (Tabela 1). O instrumento para a análise de juízes foi encaminhado via e-mail, acompanhado de termo de interesse explicando os objetivos do estudo e solicitando a colaboração na avaliação dos itens.

 

 

Foi calculado o coeficiente de validade do conteúdo (CVC), que avalia a concordância entre os juízes. A avaliação dos itens quanto ao grau de relevância e adequação foi feita por meio de uma escala numérica que varia de 1 a 3, onde 1 representa "irrelevante/inadequada", 2 representa "relevante/adequada" e 3 representa "muito relevante/muito adequada". O cálculo foi realizado da seguinte forma8,19:

Para descontar possíveis vieses dos juízes, realizou-se o cálculo do erro:

Logo,

O ponto de corte adotado para determinar níveis satisfatórios para adequação da linguagem e relevância foi de CVC≥ 0,70.20

Para a análise de concordância da dimensão teórica de cada item entre os juízes e entre cada juiz e as dimensões pré-estabelecidas pelos autores da escala, realizou-se o cálculo do Kappa. Segundo Landis e Koch21, valores abaixo de 0,40 representam baixa concordância, valores situados entre 0,40 e 0,75 representam concordância mediana e valores maiores que 0,75 representam excelente concordancia.

Após a análise de juízes os itens foram modificados para que a escala pudesse ser testada empiricamente.

 

RESULTADOS

Originalmente foram criados 47 itens que contemplavam todos os contextos que emergiram da análise qualitativa e revisão da literatura prévias.16

Análise semântica

Aplicou-se a versão teórica de 47 itens da escala PEDIA a 27 pacientes do Hospital Eduardo de Menezes. A maioria dos pacientes era do sexo masculino (67%), com média de 48,7 anos de idade e menos de oito anos de estudo (56%). Os participantes apontaram os itens e palavras de difícil compreensão. Algumas palavras consideradas de difícil entendimento pelos pacientes foram substituídas por palavras de uso popular (e.g., serviço à serviço de saúde; inconveniente à incômodo; reações adversas à efeitos desagradáveis; etc.). Após a análise semântica, 25 itens foram modificados e oito itens foram excluídos por não demonstrarem relevância para os pacientes e um item foi desdobrado em dois por conter duas informações diferentes, restando 40 itens.

Análise de juízes

Em relação ao grau de adequação da formulação da frase, o CVC total da escala foi 0,80, sendo que 30% dos itens apresentaram CVC<0,70 (Tabela 2). Em relação ao grau de relevância do item para medir o construto, o CVC total da escala foi 0,88, sendo que 20% dos itens apresentaram CVC<0,80. Como nenhum item foi considerado irrelevante por mais de um juiz e não se obteve valores muito baixos de CVC (o menor valor foi 0,63, para os itens 10, 15 e 29), decidiu-se não excluir nenhum item.

 

 

O coeficiente de concordância Kappa geral entre os juízes foi de 0,61 (p<0,001) (Tabela 3). A dimensão de Fatores Emocionais e Cognitivos apresentou concordância mediana (κ=0,44), seguida das dimensões Fatores Inerentes à Terapia Antirretroviral (κ=0,56) e Fatores Sociais e Econômicos (κ=0,63). A dimensão de Fatores Organizacionais apresentou excelente concordância (κ=0,90). A concordância entre a classificação de cada juiz e a classificação pré-estabelecida pelos autores da escala variou de 0,73 a 0,83.

 

 

A maior dificuldade dos juízes foi classificar itens sobre a adequação do medicamento à rotina entre os Fatores Emocionais e Cognitivos ou entre os Fatores Inerentes à Terapia Antirretroviral. A versão final da escala PEDIA, a ser testada quanto às propriedades psicométricas, possui 40 itens (Tabela 4).

 

 

DISCUSSÃO

De uma forma geral, os resultados apontam a adequação da escala PEDIA ao conteúdo que ela pretende avaliar. A análise semântica e o estudo piloto foram importantes para identificar a relevância de certos itens para a população alvo. Metade dos itens que foram excluídos era relativa à características do esquema que não representam mais a realidade da maioria das PVHA no início do tratamento. Isso pode ser explicado pelo fato de que os itens foram construídos com base em análise qualitativa de estudo realizado em 2011. Desde a realização do estudo ocorreram muitas mudanças nos esquemas terapêuticos com os antirretrovirais, que levaram à redução dos casos de lipodistrofia causada por estes medicamentos, diminuição do número de medicamentos no esquema (o esquema de primeira linha consiste em um único comprimido diário) e redução no número de coinfecções.1 Entretanto, a data de realização do estudo qualitativo não limita o conteúdo dos itens desenvolvidos para a escala PEDIA. Embora as percepções de dificuldades sejam mutáveis para cada indivíduo, elas não variam muito para a população de PVHA, de modo que as dificuldades com a TARV relatadas em 2011 ainda podem corresponder substancialmente às experiências atuais de PVHA.16 Os outros quatro itens excluídos mostraram-se redundantes em relação a outros itens.

Na análise de juízes, nenhum item apresentou baixa relevância e apenas três foram julgados como de média relevância. De uma forma geral, os juízes concordaram em níveis satisfatórios na maior parte dos itens que compoem a escala, indicando evidências acerca da sua validade de conteúdo. As modificações feitas nos itens que apresentaram baixa adequação foram relativas à estrutura da frase e não a seu conteúdo. Os juízes apresentaram dificuldades ao classificar os itens sobre a adequação do medicamento à rotina entre os Fatores Emocionais e Cognitivos e os Fatores Inerentes à Terapia Antirretroviral, o que explica o baixo valor de kappa encontrado. No estudo de Krummenacher et al.17 a adequação do medicamento à rotina foi classificada em Fatores Organizacionais, cuja definição era mais ampla e incluía também fatores sociais e econômicos. No presente estudo os Fatores Organizacionais representam somente o contexto da equipe e serviço de saúde e observou-se que os juízes tiveram maior facilidade em classificar os itens nessa dimensão, possivelmente porque a definição fornecida no instrumento estivesse mais clara que as das demais dimensões. A classificação dos itens em dimensões foi útil para garantir que todos os fatores que influenciam as percepções de dificuldades estariam suficientemente representados na escala. Os resultados sugerem a necessidade de melhoria da definição para as dimensões de Fatores Emocionais e Cognitivos e Fatores Inerentes à Terapia Antirretroviral, de forma a melhorar sua compreensão.

Uma possível limitação da escala PEDIA pôde ser identificada durante seu desenvolvimento e validação de conteúdo. Observou-se que alguns pacientes não conseguiam distinguir entre "discordo muito" e "discordo um pouco". Como tentativa para reduzir esse problema, as opções de respostas estao sendo apresentadas visualmente em formato de régua na aplicação da versão piloto da escala para o estudo empírico. Como a população de PVHA tende a ter menor instrução, alguns pacientes podem ter maiores dificuldades em responder a escala PEDIA, o que pode exigir cautela na interpretação dos escores quando for o caso.

Apesar dessa limitação, inerente a escalas do tipo Likert22, reforça-se a importância da construção de um instrumento objetivo, simples, com evidências de validade e de precisão que permita identificar oportunamente pacientes em risco de não adesão à TARV. Apesar de estudos anteriores avaliarem uma variedade de dificuldades para a mudança de comportamento, eles não atendem totalmente à natureza multidimensional das percepções de dificuldades.7

A importância da validade de conteúdo na avaliação psicométrica de instrumentos e sua confiabilidade, a tornaram um passo essencial no desenvolvimento de um instrumento. É importante ressaltar, entretanto, que a validade não é a propriedade de um instrumento, mas a propriedade das pontuações obtidas por um instrumento utilizado para uma finalidade específica em um grupo especial de respondentes 12. Portanto, evidências de validade devem ser obtidas em cada estudo para o qual um instrumento é utilizado.

 

CONCLUSÕES

A etapa de validação do conteúdo da escala PEDIA foi importante para garantir que a escala realmente avalia o conteúdo que pretende medir, além de possibilitar a interação entre teoria e prática e fornecer um maior entendimento do universo de PVHA. A versão piloto com 40 itens está sendo testada empiricamente na população alvo para avaliar sua confiabilidade, validade de construto e validade preditiva. A análise semântica serviu como uma preparação para esses procedimentos empíricos, ao criar vínculos no serviço de saúde, indicar ajustes a serem feitos nos questionários e adaptar o processo de recrutamento dos pacientes.

A escala poderá ser usada no serviço de saúde, em nível individual, identificando os pontos onde é necessário prover educação e aconselhamento ao paciente, bem como instrumento de pesquisa, em nível coletivo, identificando pontos para planejamento de estratégias de intervenção e políticas públicas.

 

REFERENCIAS

1. Ministério da Saúde (BR). Secretaria de Vigilância em Saúde, Programa Nacional de DST e Aids. Protocolo clínico e diretrizes terapêuticas para manejo da infecção pelo HIV em adultos. Brasília: Ministério da Saúde; 2015.

2. Ministério da Saúde (BR). The Brazilian response to HIV and AIDS. Brasília: Ministério da Saúde; 2015.

3. Ministério da Saúde (BR). Lei nº 9.313, de 13 de novembro de 1996. Dispoe sobre a distribuição gratuita de medicamentos aos portadores de HIV e doentes de Aids. Brasília: Ministério da Saúde; 1996.

4. Department of Health and Human Services - DHHS. Panel on antiretroviral guidelines for adults and adolescents. Guidelines for the use of antiretroviral agents in HIV-1-infected adults and adolescents. New York: Department of Health and Human Services; 2015.

5. World Health Organization - WHO. Guideline on when to start antiretroviral therapy and on pre-exposure prophylaxis for HIV. Geneva: WHO; 2015.

6. Glasgow RE. Perceived barriers to self-management and preventive behaviors. 2012. [Citado em 2016 ago. 19]. Disponível em: http://cancercontrol.cancer.gov/brp/research/constructs/barriers.pdf

7. Gerend MA, Shepherd MA, Shepherd JE. The multidimensional nature of perceived barriers: global versus practical barriers to HPV vaccination. Health Psychol. 2013; 32(4): 361-9.

8. Tripp MK, Diamond PM, Vernon SW, Swank PR, Dolan Mullen P, Gritz ER. Measures of parents' self-efficacy and perceived barriers to children's sun protection: construct validity and reliability in melanoma survivors. Health Educ Res. 2013; 28(5): 828-42.

9. Vries AE, Wal MH, Nieuwenhuis MM, Jong RM, Van Dijk RB, Jaarsma T et al. Perceived barriers of heart failure nurses and cardiologists in using clinical decision support systems in the treatment of heart failure patients. BMC Med Inform Decis Mak. 2013; 13:54.

10. Mills EJ, Nachega JB, Bangsberg DR, Singh S, Rachlis B, Wu P, et al. Adherence to HAART: a systematic review of developed and developing nation patient-reported barriers and facilitators. PLoS Med. 2006; 3(11):e438.

11. Vervoort SC, Borleffs JC, Hoepelman AI, Grypdonck MH. Adherence in antiretroviral therapy: a review of qualitative studies. AIDS. 2007; 21(3): 271-81.

12. Zamanzadeh V, Ghahramanian A, Rassouli M, Abbaszadeh A, Alavi-Majd H, Nikanfar AR. Design and implementation content validity study: development of an instrument for measuring patient-centered communication. J Caring Sci. 2015; 4(2):165-78.

13. Pasquali L. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.

14. Sternberg RJ. Psicologia cognitiva. 4ª ed. Porto Alegre: Artmed; 2008. 584 p.

15. Becker MH. The health belief model and personal health behavior. Thorofare: Slack; 1974.

16. Almeida CC. Dificuldades e facilidades associadas ao tratamento antirretroviral: autopercepção de pessoas vivendo com HIV em acompanhamento em serviços públicos de saúde do Brasil [dissertação]. Belo Horizonte: Universidade Federal de Minas Gerais, Faculdade de Medicina; 2014. p.84.

17. Krummenacher I, Spencer B, Du Pasquier S, Bugnon O, Cavassini M, Schneider MP. Qualitative analysis of barriers and facilitators encountered by HIV patients in an ART adherence programme. Int J Clin Pharm. 2014; 36(4): 716-24.

18. Pasquali L. Psicometria: teoria dos testes na psicologia e educação. Rio de Janeiro: Vozes; 2003.

19. Hernández-Nieto RA. Contributions to statistical analysis. Mérida: Universidad de Los Andes; 2002. p.119.

20. Cassepp-Borges V, Balbinotti MAA, Teodoro MLM. Tradução e validação de conteúdo: uma proposta para adaptação de instrumentos. In: Pasquali L, organizador. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010. p.506-20.

21. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.

22. Devellis RF. Scale development: theory and applications. 2ª ed. California: Sage Publications; 2003. 171p.