Introdução
Os questionários de pesquisa são ferramentas importantes na saúde pública e na pesquisa clínica, pois oferecem uma maneira conveniente de coletar dados de um grande número de entrevistados e de lidar com assuntos sensíveis. Além disso, a aplicação dos questionários de pesquisa necessita de menos recursos do que outras técnicas de coleta de dados. A aplicação de questionários de pesquisa por meio de aplicativos usados em smartphones ou tablets poderia maximizar a escalabilidade (número de pessoas que respondem às perguntas) e a velocidade da coleta de dados e, ao mesmo tempo, reduzir os custos. Entretanto, antes que esta tecnologia seja amplamente adotada, precisamos entender como ela pode afetar a qualidade das respostas coletadas. Particularmente, devemos considerar o impacto que a qualidade dos dados pode ter nas evidências que apoiam muitas decisões de saúde pública e de cuidados em saúde.
Objetivos
Nesta revisão da Cochrane, avaliamos o impacto que o uso de aplicativos para aplicar questionários de pesquisa pode ter em vários aspectos da qualidade das respostas. Estes aspectos incluem: taxas de resposta, acurácia (precisão) dos dados, completude dos dados, tempo necessário para preencher um questionário de pesquisa e aceitabilidade dos respondentes.
Métodos e resultados
Fizemos buscas por estudos publicados entre janeiro de 2007 e abril de 2015. Incluímos 14 estudos e analisamos dados de 2.272 participantes. Como havia diferenças entre os estudos, não realizamos uma metanálise (análise estatística). Em vez disso, descrevemos os resultados de cada estudo. Os estudos foram realizados em dois tipos de ambiente: controlado e não controlado. Os ambientes controlados são cenários de pesquisa ou clínicos nos quais os profissionais de saúde ou pesquisadores foram capazes de controlar melhor os potenciais confundidores, como o local e a hora do dia em que as pesquisas foram realizadas, o tipo de tecnologia utilizada e o nível de ajuda disponível aos entrevistados para lidar com as dificuldades técnicas. Os ambientes não controlados referem-se a cenários fora destes ambientes de pesquisa ou clínicos (por exemplo, a casa do entrevistado). Encontramos estudos que mostram que os aplicativos podem ser equivalentes a outros modos de aplicação de questionário, tais como papel, laptops e SMS em ambas os ambientes (controlado ou não controlado). Não está claro se os aplicativos poderiam resultar em tempos de conclusão mais rápidos do que outros modos de aplicação de questionários. Em vez disso, nossos achados sugerem que fatores como as características da população clínica e o desenho da pesquisa e da interface poderiam influenciar no tempo de conclusão do questionário. A completude dos dados e a aderência aos protocolos de amostragem só foram relatadas em ambientes não controlados. Nossos resultados indicam que os aplicativos podem resultar em conjuntos de dados mais completos e podem melhorar a aderência aos protocolos de amostragem em comparação com o papel, mas não em comparação com SMSs. Havia múltiplas definições de aceitabilidade para os entrevistados que não puderam ser padronizadas em todos os estudos incluídos. Finalmente, nenhum dos estudos incluídos relatou as taxas de resposta ou a acurácia (precisão) dos dados.
Conclusão
Em geral, não há evidências suficientes para fazer recomendações claras a respeito do impacto dos aplicativos nas respostas aos questionários de pesquisa. Os aplicativos podem não afetar a equivalência de dados, desde que a aplicação clínica pretendida do questionário de pesquisa e sua freqüência de administração permaneçam inalteradas. Pesquisas futuras podem precisar considerar como o design de interação com o usuário, o questionário de pesquisa e a intervenção podem afetar a equivalência dos dados e os outros desfechos avaliados nesta revisão.
Nossos resultados, baseados em uma síntese narrativa das evidências, sugerem que os aplicativos podem não afetar a equivalência de dados, desde que a aplicação clínica pretendida do questionário de pesquisa, sua freqüência de administração pretendida e o ambiente em que foi validado permaneçam inalterados. Não havia dados sobre a acurácia dos dados ou sobre as taxas de resposta. Além disso, os resultados sobre o tempo necessário para preencher um questionário de pesquisa autoadministrado foram contraditórios. Também, os aplicativos podem melhorar a completude dos dados. Entretanto, não há evidências suficientes para avaliar seu impacto na adesão aos protocolos de amostragem. Nenhum dos estudos incluídos avaliou como os elementos do design de interação com o usuário, desenho do questionário de pesquisa e desenho da intervenção poderiam influenciar nos efeitos do modo de aplicação do questionário. Aqueles que realizam pesquisas em saúde pública e epidemiologia não devem assumir que os efeitos do modo de aplicação de questionários que são relevantes a outros modos de aplicação se apliquem ao uso de aplicativos usados em dispositivos inteligentes de consumo. Aqueles que realizam pesquisas metodológicas podem desejar explorar as questões destacadas por esta revisão sistemática.
Os questionários de pesquisa autoadministrados são uma importante ferramenta de coleta de dados na prática clínica, na pesquisa em saúde pública e na epidemiologia. Eles são ideais para alcançar uma ampla cobertura geográfica da população-alvo e de lidar com assuntos sensíveis. Além disso, para aplicar os questionários autoadministrados, são necessários menos recursos do que os questionários aplicados com outros métodos de coleta de dados. Estes questionários de pesquisa podem ser fornecidos eletronicamente. Isto pode maximizar a escalabilidade e a velocidade da coleta de dados e, ao mesmo tempo, reduzir custos. Nos últimos anos, o uso de aplicativos de dispositivos inteligentes (como smartphones e tablets) para coletar respostas aos questionários de pesquisa tem recebido considerável atenção. Entretanto, a variação no modo de aplicar os questionários de pesquisa pode afetar a qualidade das respostas coletadas.
Avaliar o impacto dos aplicativos de smartphones e tablets como modo de aplicação de questionários na qualidade das respostas aos questionários de pesquisa, em comparação com qualquer outro modo alternativo de aplicação dos questionários: papel, laptop, tablet computer (fabricado antes de 2007), serviço de mensagens curtas (SMS) e objetos de plástico.
Fizemos buscas nas bases de dados MEDLINE, EMBASE, PsycINFO, IEEEXplore, Web of Science, CABI: CAB Abstracts, Current Contents Connect, ACM Digital, ERIC, Sociological Abstracts, Health Management Information Consortium, Campbell Library e CENTRAL. Também fizemos buscas em plataformas de registros de ensaios clínicos atuais e em andamento, como ClinicalTrials.gov e World Health Organization (WHO) International Clinical Trials Registry Platform. Além disso, buscamos por fontes de literatura cinzenta, como a OpenGrey, Mobile Active e ProQuest Dissertation & Theses. Finalmente, fizemos buscas no Google Scholar e nas listas de referências dos estudos incluídos e de revisões sistemáticas relevantes. Realizamos todas as buscas até 12 e 13 de abril de 2015.
Incluímos ensaios clínicos randomizados (ECRs) paralelos, ensaios clínicos do tipo crossover e estudos de medidas repetidas pareadas. Estes estudos comparavam a aplicação de questionários de pesquisa autoadministrados de modo eletrônico, por meio de um aplicativo de smartphone ou aplicativo com qualquer outro modo de aplicação. Incluímos os dados obtidos dos participantes que preencheram os questionários de pesquisa autoadministrados relacionados à saúde, tanto validados quanto não validados. Também incluímos dados oferecidos tanto por voluntários saudáveis quanto por aqueles com qualquer diagnóstico clínico. Incluímos estudos que relataram qualquer um dos seguintes desfechos: equivalência dos dados; acurácia dos dados; completude dos dados; taxas de resposta; diferenças no tempo necessário para completar um questionário de pesquisa; diferenças na adesão do respondente ao protocolo de amostragem original; e aceitabilidade do modo de aplicação pelos respondentes. Incluímos estudos que foram publicados em 2007 ou depois, pois os dispositivos que se tornaram disponíveis durante este tempo são compatíveis com a estrutura do sistema operacional móvel (OS) que usa aplicativos.
Dois autores da revisão, trabalhando de forma independente, extraíram os dados dos estudos incluídos usando um formulário padronizado criado para esta revisão sistemática no REDCap. Em seguida, eles compararam os seus formulários para chegar a um consenso. Por meio de um mapeamento sistemático inicial dos estudos incluídos, identificamos dois ambientes nos quais a conclusão da pesquisa foi realizada: controlado e não controlado. Estes ambientes diferiram em termos de (i) o local onde as pesquisas foram concluídas, (ii) a freqüência e intensidade dos protocolos de amostragem, e (iii) o nível de controle sobre potenciais confundidores (por exemplo, tipo de tecnologia, nível de ajuda oferecida aos entrevistados). Devido aos altos níveis de diversidade clínica e metodológica, não seria apropriado realizar uma metanálise. Portanto, fizemos um resumo narrativo das evidências que encontramos. Relatamos nossas conclusões para cada desfecho de acordo com o ambiente em que os estudos foram conduzidos.
Incluímos 14 estudos (15 relatos) com um total de 2.275 participantes. Apesar disso, incluímos apenas 2.272 participantes nas análises finais, pois faltavam dados a respeito de três participantes de um estudo incluído.
Com relação à equivalência dos dados, tanto em ambientes controlados quanto em não controlados, os estudos incluídos não encontraram diferenças significativas na pontuação média geral entre os aplicativos e outros modos de aplicação dos questionários e encontraram que todos os coeficientes de correlação excederam os limites recomendados para a equivalência de dados. Com relação ao tempo necessário para preencher um questionário de pesquisa em um ambiente controlado, um estudo encontrou que era mais rápido preencher um questionário em um aplicativo do que em um papel. Porém, o outro estudo não encontrou uma diferença significativa entre os dois modos de aplicação do questionário. Em um ambiente não controlado, um estudo encontrou que era mais rápido aplicar um questionário em um aplicativo do que por SMSs. A completude dos dados e a aderência aos protocolos de amostragem só foram relatadas em ambientes não controlados. Com relação à completude, verificou-se que um aplicativo resultou em registros mais completos do que o papel, e em significativamente mais entradas de dados do que um questionário de pesquisa baseado em SMS. Com relação à adesão ao protocolo de amostragem, os aplicativos podem ser melhores do que o papel. Entretanto, podem não ser diferentes das SMSs. Identificamos múltiplas definições de aceitabilidade dos entrevistados, com resultados inconclusivos: preferência; facilidade de uso; vontade de usar um modo de aplicação do questionário; satisfação; eficácia da informatividade do sistema; tempo percebido para completar o questionário da pesquisa; benefício percebido com um modo de aplicação; utilidade percebida com um modo de aplicação; capacidade percebida de completar um questionário da pesquisa; duração máxima de tempo que os participantes estariam dispostos a usar um modo de aplicação; e reatividade ao modo de aplicação do questionário e sua integração bem sucedida na rotina diária dos entrevistados. Finalmente, independentemente do ambiente do estudo, nenhum dos estudos incluídos relatou a acurácia dos dados ou as taxas de resposta.
Tradução do Cochrane Brazil (Ana Carolina Pereira Nunes Pinto). Contato: tradutores.cochrane.br@gmail.com