Antecedentes
Los cuestionarios son herramientas importantes en la investigación clínica y de salud pública, ya que ofrecen una forma cómoda de recoger datos de un gran número de encuestados, tratar temas delicados y requieren menos recursos que otras técnicas de recogida de datos. La administración de los cuestionarios a través de aplicaciones que se ejecutan en teléfonos inteligentes o tabletas podría maximizar la escalabilidad y la velocidad de la recogida de los datos que ofrecen estas herramientas, al tiempo que se reducen los costes. Sin embargo, antes de que esta tecnología se adopte de forma generalizada, es necesario entender cómo podría afectar la calidad de las respuestas recogidas. Sobre todo, si se considera la repercusión que la calidad de los datos puede tener sobre la base de evidencia que sustenta muchas decisiones de salud pública y asistencia sanitaria.
Objetivo
En esta revisión Cochrane se evaluó la repercusión que el uso de aplicaciones para realizar una encuesta puede tener sobre varios aspectos de la calidad de las respuestas. Entre ellos se encuentran los índices de respuesta, la exactitud de los datos, la completitud de los datos, el tiempo que se tarda en rellenar el cuestionario y la aceptabilidad para los encuestados.
Métodos y resultados
Se buscaron estudios publicados entre enero de 2007 y abril de 2015. Se incluyeron 14 estudios y se analizaron los datos de 2272 participantes. No se realizó un metanálisis debido a las diferencias entre los estudios. En su lugar, se describen los resultados de cada estudio. Los estudios se realizaron en dos tipos de entornos: controlados y no controlados. El primero se refiere a los entornos de investigación o clínicos en los que los profesionales sanitarios o los investigadores pudieron controlar mejor los posibles factores de confusión, como el lugar y la hora del día en que se rellenaron las encuestas, el tipo de tecnología utilizada y el nivel de ayuda disponible para que los encuestados resolvieran las dificultades técnicas. Los entornos no controlados se refieren a lugares fuera de estos entornos de investigación o clínicos (p.ej. el hogar del encuestado). Se encontró que las aplicaciones podrían ser equivalentes a otros modos de administración como el papel, los ordenadores portátiles y los SMS en ambos entornos. No está claro si las aplicaciones podrían dar lugar a tiempos de finalización más rápidos que otros modos de administración. En cambio, los hallazgos indican que factores como las características de la población clínica y el diseño de la encuesta y la interfaz podrían moderar el efecto sobre este desenlace. La completitud de los datos y el cumplimiento de los protocolos de muestreo solo se informaron en entornos no controlados. Los resultados indican que las aplicaciones podrían dar lugar a conjuntos de datos más completos y podrían mejorar el cumplimiento de los protocolos de muestreo en comparación con el papel, pero no con el SMS. Hubo múltiples definiciones de aceptabilidad para los encuestados, por lo que no fue posible estandarizarlas para los estudios incluidos. Por último, ninguno de los estudios incluidos informó sobre las tasas de respuesta o la exactitud de los datos.
Conclusión
En general no hay evidencia suficiente para hacer recomendaciones claras sobre la repercusión que podrían tener las aplicaciones sobre las respuestas a los cuestionarios. La equivalencia de los datos podría no verse afectada, siempre que la aplicación clínica prevista del cuestionario de una encuesta y su frecuencia de administración prevista sean las mismas, se utilicen o no aplicaciones. Es posible que los estudios de investigación futuros deban considerar cómo el diseño de la interacción con el usuario, el cuestionario de la encuesta y la intervención podrían afectar a la equivalencia de los datos y a los demás desenlaces evaluados en esta revisión.
Los presentes resultados, basados en una síntesis narrativa de la evidencia, indican que las aplicaciones podrían no afectar a la equivalencia de los datos siempre que la aplicación clínica prevista del cuestionario, su frecuencia de administración prevista y el entorno en el que fue validado permanecieran inalterados. No hubo datos sobre la exactitud de los datos ni las tasas de respuesta, y los resultados sobre el tiempo que se tarda en rellenar el cuestionario por el encuestado fueron contradictorios. Además, aunque las aplicaciones podrían mejorar la completitud de los datos, no hay evidencia suficiente para evaluar su impacto en el cumplimiento de los protocolos de muestreo. Ninguno de los estudios incluidos evaluó cómo podrían influir en los efectos del modo de administración los elementos del diseño de interacción con el usuario, el diseño del cuestionario y el diseño de la intervención. Los investigadores en salud pública y epidemiología no deben asumir que los efectos del modo de administración relevantes para otros modos de administración se aplican a las aplicaciones que se ejecutan en los dispositivos inteligentes de los consumidores. Quienes realicen investigaciones metodológicas tal vez deseen explorar las cuestiones destacadas por esta revisión sistemática.
Los cuestionarios rellenados por los encuestados son una herramienta importante de recogida de datos en la práctica clínica, la investigación en salud pública y la epidemiología. Son ideales para lograr una amplia cobertura geográfica de la población a la que van dirigidos, tratar temas delicados y requieren menos recursos que otros métodos de recogida de datos. Estos cuestionarios se pueden administrar por vía electrónica, lo que puede maximizar la escalabilidad y la rapidez de la recogida de datos, y reducir al mismo tiempo los costes. En los últimos años, el uso de aplicaciones en los dispositivos inteligentes de los consumidores (es decir, teléfonos inteligentes y tabletas) para este fin ha recibido una atención considerable. Sin embargo, la variación en el modo de administración del cuestionario podría afectar a la calidad de las respuestas obtenidas.
Evaluar la repercusión que tienen las aplicaciones para teléfonos inteligentes y tabletas como modo de administración sobre la calidad de las respuestas al cuestionario en comparación con cualquier otro modo de administración alternativo: papel, ordenador portátil, tableta (fabricada antes de 2007), servicio de mensajes cortos (SMS) y objetos de plástico.
Se realizaron búsquedas en MEDLINE, EMBASE, PsycINFO, IEEEXplore, Web of Science y CABI: CAB Abstracts, Current Contents Connect, ACM Digital, ERIC, Sociological Abstracts, Health Management Information Consortium, The Campbell Library y CENTRAL. También se realizaron búsquedas en registros de ensayos clínicos como ClinicalTrials.gov y la Plataforma de registros internacionales de ensayos clínicos (ICTRP) de la Organización Mundial de la Salud (OMS). También se buscó literatura gris en OpenGrey, Mobile Active y ProQuest Dissertation & Theses. Por último, se realizaron búsquedas en Google Scholar y en las listas de referencias de los estudios incluidos y de las revisiones sistemáticas pertinentes. Todas las búsquedas se realizaron hasta el 12 y el 13 de abril de 2015.
Se incluyeron ensayos controlados aleatorizados (ECA) paralelos, ensayos cruzados y estudios de medidas repetidas emparejados que compararon la administración electrónica de cuestionarios rellenados por el encuestado a través de una aplicación para teléfonos inteligentes o tabletas con cualquier otro modo de administración. Se incluyeron los datos obtenidos de participantes que completaron un cuestionario rellenado por ellos mismos relacionado con la salud, ya fuera validado o no validado. También se incluyeron los datos proporcionados por voluntarios sanos y por personas con algún diagnóstico clínico. Se incluyeron los estudios que informaron de cualquiera de los siguientes desenlaces: equivalencia de los datos, exactitud de los datos, completitud de los datos, tasas de respuesta, diferencias en el tiempo empleado para completar el cuestionario, diferencias en el cumplimiento del protocolo de muestreo original por parte de los encuestados y aceptabilidad del modo de administración por parte de los encuestados. Se incluyeron los estudios que se publicaron en 2007 o después, ya que los dispositivos que salieron a la venta durante esta época son compatibles con el marco del sistema operativo (SO) móvil que se centra en las aplicaciones.
Dos autores de la revisión, de forma independiente, extrajeron los datos de los estudios incluidos mediante un formulario estandarizado creado para esta revisión sistemática en REDCap. A continuación, compararon sus formularios para llegar a un consenso. Mediante un mapeo sistemático inicial de los estudios incluidos, se identificaron dos entornos en los que se realizaron las encuestas: controlados y no controlados. Estos entornos difirieron en cuanto a (i) el lugar donde se realizaron las encuestas, (ii) la frecuencia e intensidad de los protocolos de muestreo, y (iii) el nivel de control sobre los posibles factores de confusión (p.ej. tipo de tecnología, nivel de ayuda ofrecido a los encuestados). Se realizó una síntesis narrativa de la evidencia porque no fue apropiado realizar un metanálisis, debido a los altos niveles de diversidad clínica y metodológica. Se informaron los hallazgos para cada desenlace según el contexto en el que se realizaron los estudios.
Se incluyeron 14 estudios (15 registros) con un total de 2275 participantes; no obstante, solo se incluyeron 2272 participantes en los análisis finales porque faltaron datos de tres participantes de un estudio incluido.
En cuanto a la equivalencia de los datos, en los entornos controlados y los no controlados los estudios incluidos no encontraron diferencias significativas en las puntuaciones medias globales entre las aplicaciones y otros modos de administración, y todos los coeficientes de correlación superaron los umbrales recomendados para la equivalencia de los datos. En cuanto al tiempo que se tarda en rellenar el cuestionario en un entorno controlado, un estudio encontró que una aplicación fue más rápida que el papel, mientras que el otro estudio no encontró diferencias significativas entre los dos modos de administración. En un entorno no controlado, un estudio encontró que una aplicación fue más rápida que los SMS. La completitud de los datos y el cumplimiento de los protocolos de muestreo solo se informaron en entornos no controlados. En cuanto a la primera, se comprobó que una aplicación dio lugar a registros más completos que el papel, y a un número de entradas de datos significativamente mayor que el cuestionario basado en SMS. En lo que respecta al cumplimiento del protocolo de muestreo, las aplicaciones podrían ser mejores que el papel, pero no se diferencian del SMS. Se identificaron múltiples definiciones de aceptabilidad de los encuestados, con resultados no concluyentes: preferencia, facilidad de uso, disposición a utilizar un modo de administración, satisfacción, efectividad del sistema informativo, tiempo percibido para completar el cuestionario, beneficio percibido de un modo de administración, utilidad percibida de un modo de administración, capacidad percibida para completar el cuestionario, tiempo máximo que los participantes estarían dispuestos a dedicar a un modo de administración, y reactividad al modo de administración y su integración exitosa en la rutina diaria de los encuestados. Por último, independientemente del entorno del estudio, ninguno de los estudios incluidos informó sobre la exactitud de los datos o las tasas de respuesta.
La traducción de las revisiones Cochrane ha sido realizada bajo la responsabilidad del Centro Cochrane Iberoamericano, gracias a la suscripción efectuada por el Ministerio de Sanidad del Gobierno de España. Si detecta algún problema con la traducción, por favor, contacte con comunica@cochrane.es.