Mensagens‐chave
- Em média, a diferença nas estimativas dos efeitos dos ensaios clínicos randomizados (ECR) e dos estudos observacionais são mínimas. As estimativas de efeito são construções estatísticas que descrevem o tamanho de um efeito da intervenção em termos da diferença entre os desfechos de dois grupos de pessoas em um ensaio clínico ou estudo.
- Precisamos de mais pesquisas que considerem cuidadosamente os fatores que podem impactar as semelhanças e diferenças nas estimativas de efeitos entre os diferentes tipos de estudo.
O que são ensaios clínicos randomizados e estudos observacionais, e por que as estimativas de seus efeitos diferem potencialmente?
Ensaios clínicos randomizados (ECR) são um tipo de experimento de saúde em que os participantes são alocados aleatoriamente em um de dois (ou mais) grupos de tratamento. Um grupo recebe um tratamento experimental (também conhecido como “intervenção”); o outro é o grupo “controle”, ao qual não è dada a intervenção. Os ECRs testam o quão eficaz e seguro é um tratamento experimental em condições ideais.
Os estudos observacionais tentam medir a eficácia de uma intervenção em cenários não experimentais do “mundo real”. Estudos do tipo caso-controle (ou retrospectivos) e estudos do tipo coorte são dois tipos comuns de estudos observacionais. Estudos do tipo caso-controle comparam um grupo de pessoas com uma condição/doença específica com um grupo que não a tem, mas que são semelhantes em outros aspectos. Estudos do tipo coorte acompanham um grupo de pessoas com uma característica comum ao longo do tempo para descobrir quantas alcançam um determinado desfecho de saúde de interesse.
Às vezes, os resultados de ECRs e estudos observacionais que abordam a mesma questão podem ter diferentes resultados. Esses tipos de estudo diferem na forma como são conduzidos e na suscetibilidade a erros sistemáticos.
O que queríamos descobrir?
Queríamos avaliar o impacto do tipo de estudo (ECR versus estudos observacionais) na estimativa do efeito geral e explorar aspectos metodológicos que pudessem explicar quaisquer diferenças.
O que nós fizemos?
Pesquisamos em bancos de dados revisões que comparassem sistematicamente as estimativas de efeito relatadas em ECRs e estudos observacionais que abordassem a mesma questão de pesquisa em saúde. Procuramos revisões que incluíssem quaisquer desfechos de saúde, sem restrições quanto ao idioma de publicação. Pesquisamos revisões/overviews publicadas entre 1º de janeiro de 1990 e 12 de maio de 2022. Em seguida, comparamos os resultados das revisões e resumimos as evidência. Classificamos a nossa confiança nestas evidências com base em fatores como os métodos utilizados nas revisões e a sua dimensão, bem como a consistência dos resultados entre as revisões.
O que nós encontramos?
Identificamos 47 avaliações relevantes; 34 contribuíram com dados para nossa análise principal. As revisões compararam as estimativas de efeito dos ECRs com as de estudos do tipo coorte, estudos do tipo caso-controle ou ambos. As revisões abordaram uma variedade de tópicos relacionados à saúde. Eles foram realizados em países ao redor do mundo, mas a maioria foi realizada nos EUA. Doze avaliações não relataram qualquer informação sobre financiamento. Em 8 revisões, os autores relataram não ter recebido financiamento. Em 23 revisões, os autores relataram receber financiamento público, como financiamento governamental ou financiamento de universidades ou fundações. Duas revisões foram financiadas pela União Europeia e duas revisões relataram ter recebido financiamento da indústria. A maioria das revisões financiadas relatou múltiplas fontes de financiamento.
Resultados principais
- Observamos que as estimativas de efeito entre ensaios clínicos randomizados e estudos observacionais podem apresentar diferenças mínimas ou inexistentes.
- Podem existir pequenas diferenças quando comparamos as estimativas de efeitos de estudos que investigam apenas medicamentos (em oposição a outros tratamentos de saúde, como cirurgia ou fisioterapia).
Também encontramos pouca diferença nas estimativas de efeito baseadas em dados de:
- metanálise de ECRs e estudos observacionais que mostraram heterogeneidade estatística substancial; isto é, variabilidade nos efeitos das intervenções avaliadas nos diferentes estudos;
- estudos observacionais que não utilizaram ou não foram claros sobre como utilizaram métodos para ter em conta as características da população que podem ter impacto na eficácia de uma intervenção (ajuste do escore de propensão);
- estudos observacionais que não forneceram informações suficientes sobre o desenho do estudo.
Quais são as limitações das evidências?
Temos pouca confiança nas evidência porque as revisões incluídas podem estar sujeitas a erros sistemáticos devido à forma como foram conduzidas. Além disso, as revisões abordavam diferentes tipos de pessoas e intervenções, o que significa que os achados individuais entre as revisões variavam consideravelmente.
Até que ponto esta revisão está atualizada?
As evidências estão atualizadas até maio de 2022.
Não encontramos nenhuma diferença ou uma diferença muito pequena entre as estimativas de efeito dos ECRs e dos estudos observacionais. Essas descobertas são amplamente consistentes com as descobertas de pesquisas publicadas recentemente. Outros fatores além do desenho do estudo precisam ser considerados ao explorar as razões para a falta de concordância entre os resultados dos ECRs e dos estudos observacionais, tais como diferenças na população, intervenção, comparador e desfechos investigados nos respectivos estudos. Nossos resultados ressaltam que é importante que os revisores considerem não apenas o desenho do estudo, mas o nível de heterogeneidade nas meta-análises de ECRs ou estudos observacionais. É necessária uma melhor compreensão de como esses fatores podem produzir estimativas que reflitam a verdadeira eficácia.
Os investigadores e tomadores de decisão frequentemente utilizam evidências de ensaios clínicos randomizados(ECR) para determinar a eficácia ou efetividade de um tratamento ou intervenção. Estudos observacionais são frequentemente utilizados para medir a efetividade de uma intervenção em cenários do “mundo real”. Numerosos desenhos de estudo e suas modificações (incluindo desenhos randomizados e observacionais) são usados para pesquisas de efetividade comparativa, na tentativa de fornecer uma estimativa imparcial sobre se um tratamento é mais efetivo ou mais seguro do que outro para uma população específica. É necessária uma análise sistemática atualizada para identificar diferenças nas estimativas de efeitos de ECRs e estudos observacionais. Esta revisão atualizada resume os resultados de revisões metodológicas que compararam as estimativas de efeito de estudos observacionais com os ECRs a partir de sínteses de evidência que abordaram a mesma questão de pesquisa em saúde.
Avaliar e comparar estimativas de efeitos sintetizados por tipo de estudo, contrastando ECRs com estudos observacionais.
Explorar fatores que possam explicar diferenças nas estimativas de efeitos sintetizados de ECRs versus estudos observacionais (por exemplo, heterogeneidade, tipo de desenho de estudo observacional, tipo de intervenção e o uso do ajuste de escore de propensão).
Identificar lacunas na investigação existente comparando estimativas de efeitos em diferentes tipos de estudos.
Pesquisamos no MEDLINE, na Cochrane Database of Systematic Reviews, nas bases de dados Web of Science e no Epistemonikos até maio de 2022. Verificamos referências, realizamos pesquisas de citações e contactamos os autores das revisões para identificar revisões adicionais.
Incluímos revisões metodológicas sistemáticas que compararam estimativas de efeitos quantitativos que medem a eficácia ou efetividade das intervenções testadas em ECRs versus estudos observacionais. As revisões incluídas compararam ECRs com estudos observacionais (incluindo coorte retrospectivo e prospectivo, caso-controle e desenhos transversais). As revisões não eram elegíveis se comparassem ECRs com estudos que tivessem utilizado alguma forma de alocação concomitante.
Usando resultados de estudos observacionais como grupo de referência, examinamos as estimativas resumidas do efeito relativo (risco relativo (RR), odds ratio (OR), hazard ratio (HR), diferença média (DM) e diferença média padronizada (DMP)) para avaliar se houve um efeito relativamente maior ou menor na ratio of odds ratio (ROR) ou ratio of risk ratio (RRR), ratio of hazard ratio (RHR) e diferença nas diferenças médias (padronizadas) (D(P) DM).
Se uma revisão incluída não fornecesse uma estimativa comparando os resultados dos ECRs com estudos observacionais, geraríamos uma ao agrupar as estimativas para os estudos observacionais e ECRs, respectivamente. Em todas as revisões, sintetizamos essas incidências para produzir uma incidência relativa (ratio of ratios) agrupada, comparando as estimativas de efeito dos ECRs com as dos estudos observacionais. Nas overviews de revisões, estimamos a ROR ou RRR para cada overview usando estudos observacionais como categoria de referência.
Avaliamos o risco de viés nas revisões incluídas (usando nove critérios no total). Para receber uma classificação geral de baixo risco de viés , uma revisão incluída precisava de: critérios explícitos para a seleção dos estudos, uma amostra completa de estudos, além de ter controlado as diferenças metodológicas e a heterogeneidade entre os estudos. Avaliamos as revisões/overviews que não atendem a esses quatro critérios como tendo um alto risco de viés.
Avaliamos a certeza das evidência, realizando múltiplas sínteses de evidência, utilizando a abordagem GRADE.
Incluímos 39 revisões sistemáticas e oito overviews, totalizando 47 estudos. Trinta e quatro deles contribuíram com dados para nossa análise primária. Com base nos dados disponíveis, descobrimos que as revisões/overviews incluíram 2.869 ECRs envolvendo 3.882.115 participantes e 3.924 estudos observacionais com 19.499.970 participantes.
Classificamos 11 revisões/overviews como tendo um baixo risco de viés, enquanto 36 foram classificadas como tendo um risco de viés incerto ou alto. Nossas principais preocupações com as revisões/overviews incluídas foram que algumas não avaliaram a qualidade dos estudos incluídos e outras não conseguiram explicar adequadamente as diferenças entre os desenhos dos estudos – por exemplo, realizaram análises agregadas de todos os estudos observacionais em vez de análises separadas de estudos do tipo coorte e estudos do tipo caso-controle.
Ao agrupar RORs e RRRs, a incidência relativa (ratio of ratios) indicou nenhuma diferença ou uma diferença muito pequena entre as estimativas de efeito de ECRs versus de estudos observacionais (ratio of ratios 1,08, intervalo de confiança (IC) de 95% 1,01 a 1,15). Classificamos a certeza da evidência como baixa. Vinte e três das 34 revisões relataram estimativas de efeito de ECRs e estudos observacionais que estavam, em média, de acordo.
Em uma série de análises de subgrupos, foram detectadas pequenas diferenças nas estimativas de efeito:
- apenas intervenções farmacêuticas (ratio of ratios 1,12, IC 95% 1,04 a 1,21);
- ECRs e estudos observacionais com heterogeneidade substancial ou alta; isto é, I
2
≥ 50% (ratio of ratios 1,11, IC 95% 1,04 a 1,18);
- não uso (ratio of ratios 1,07, IC 95% 1,03 a 1,11) ou uso incerto (ratio of ratios 1,13, IC 95% 1,03 a 1,25) do ajuste do escore de propensão em estudos observacionais; e
- estudos observacionais sem maiores especificações do desenho do estudo (ratio of ratios 1,06, IC 95% 0,96 a 1,18).
Não detectamos nenhuma diferença clara em outras análises de subgrupos.
Tradução do Cochrane Brazil (Obadias Machava e Aline Rocha).Contato: tradutores.cochrane.br@gmail.com