체계적 문헌고찰은 특정 연구 질문 (예를 들어, 어떤 질환에 대한 어떤 중재의 이득과 위해는 무엇인가?) 에 답하기 위해 여러 연구에서 얻은 근거를 요약한다. 종종 체계적 문헌고찰의 이러한 연구질문에 답하기 위해 리뷰 저자가 보고할 수 있는 여러 결과들이 존재하거나 (근골격계 질환 환자의 통증, 기능장애 및 삶의 질 등), 특정 결과 항목에 대한 여러 종류의 자료를 볼 수 있다 (통증을 3가지 서로 다른 측정도구로 4번에 걸쳐 측정한 연구 등). 만약 체계적 문헌고찰에서 조사할 결과 항목의 선택이 결과 내용에 좌우된다면, 이는 바이어스를 유발할 것이다. 한편 체계적 문헌고찰에서 보고할 결과 항목 및 그 보고 방식의 선택이 결과 내용에 좌우된다면, 그 문헌고찰의 이용자들은 혼동을 겪게 될 수 있다.
이 방법론 리뷰 논문은 체계적 문헌고찰 내 선택적 결과 선정 및 보고를 조사한 연구들의 발견 내용이 무엇인지 요약한다. 우리는 2013년 5월까지 온라인 데이터베이스에 색인된 연구들을 검색하였다. 7개의 연구를 분석한 결과, 체계적 문헌고찰에서 조사하고 보고한 결과 항목은 종종 계획서 내용과 출간 내용 간 변화가 있음을 알 수 있었다. 또한 이런 변화와 그 결과 항목으로 측정한 치료 효과의 통계적 유의성 간 연관성이 있는지는 불확실하다는 것도 발견했다. 이러한 상관관계가 실제 있는지 알기 위해서는 추가 연구가 필요하다. 또한, 한 연구에서는 일부 체계적 문헌고찰의 초록에서 가장 중요한 결과 항목의 내용을 하나도 보고하지 않았음도 확인하였다. 다른 연구는, 통계적으로 유의한 결과를 보여주는 결과 변수일수록 그렇지 않은 다른 변수에 비해 초록에서 보다 더 잘 보고됨을 알아내었다. 우리가 분석한 연구들은 2009년 이전에 출간된 체계적 문헌고찰에 국한되었다. 보다 최근의 체계적 문헌고찰의 선택적 결과 선정 및 보고를 조사한 연구들에 대해서는 새로운 조사가 필요하다.
연구계획서와 출간된 체계적 문헌고찰 간 결과 보고 항목의 불일치는 꽤 흔했다. 다만 결과의 통계적 유의성과 보고 항목의 불일치 사이에 연관성이 있는지는 불확실하다. 그러한 항목의 결과가 통계적 유의성을 보일 경우, 체계적 문헌고찰 초록 안에 해당 결과가 완전하게 보고되는 현상 즉 상관성을 보였다. 체계적 문헌고찰의 결과 항목 및 분석 계획은, 분석된 연구들의 결과를 보기 전에 미리 구체화하여, 관찰 결과에 기반한 사후-결정을 최소화시켜야 한다. 문헌고찰을 시작 후의 변경 사항은 합당한 이유와 함께 명백하게 보고되어야 한다. 효과 추산치와 신뢰구간은 결과의 성격에 상관없이 모든 체계적 문헌고찰의 결과 항목에 대해 보고되어야 한다. 체계적 문헌고찰 내 결과의 선택적 선정에 대한 연구가 없다는 점은 향후 다루어져야 할 점이며, 기존의 방법론적 약점을 보완한 후속 연구 역시 필요하다.
체계적 문헌고찰은 결과변수 및 분석내용의 선택적 선정/보고로 왜곡될 수 있다. 선택적 선정이란, 특정 메타 분석에 포함될 어떤 임상연구에서 여러 효과 추산치가 보고되었을 경우 (예를 들어, 여러 척도를 사용하거나 여러 시점에서 측정되었을 경우) 메타 분석에 포함될 효과 추산치의 선택이 결과의 특정 성향 (통계적 유의성, 효과의 규모 또는 방향성 등) 에 따라 이루어지는 것을 말한다. 선택적 보고란, 체계적 문헌고찰 내에서 결과/분석의 보고 여부가 결과의 특정 성향에 따라 이루어지는 것을 말한다 (예를 들어,체계적 문헌고찰 계획서에 따라 보고했어야 할 분석 결과가 출간된 논문에서는 빠져 있음).
무작위 대조 연구의 체계적 문헌고찰 내 선택적 선정/보고의 현황을 조사한 경험적 연구의 특성을 요약하고 연구결과들을 취합하기 위해, 우리는 그러한 현황과 연관된 요소 (통계적 유의성 또는 결과의 방향성 등) 들을 조사하고 바이어스를 정량적으로 측정하였다.
우리는 센트럴 (2012년 7월까지), 오비드 메드라인, 오비드 엠베이스, 오비드 사이코인포 및 ISI 웹 오브 사이언스 (이상 각각 2013년 5월까지), 미국 보건의료연구품질청 (AHRQ) 내 효과적인 보건의료 프로그램의 과학적 자원 센터 방법론 라이브러리 (2013년 6월까지) 를 검색하였다. 또한 2011, 2012년 코크란 콜로키움의 초록집과 연구 합성 방법론 (<I>Research Synthesis Methods/I) 저널에 2009년에서 2011년 사이 출간/수록된 방법론 연구의 기사 알림 내용을 검색하였다.
우리는 보건의료 중재 무작위 대조 연구의 체계적 문헌고찰에서 보게 되는 선택적 선정/보고와 연관된 요소 및 그 현황을 조사했던 모든 경험적 연구들을 (출판되었건 출판되지 않은 자료이건 상관없이) 분석하고자 하였다. 어떤 유형이건 선택적 선정 또는 선택적 보고를 평가한 경험적 연구들이 우리의 분석 대상이었다. 예를 들어, 무작위 대조 연구의 결과 자료가 얼마나 자주 그 결과의 성격에 따라 체계적 문헌고찰 내에 선택적으로 포함되는가, 결과 변수와 분석 내용은 연구 계획서와 출간 논문 간 얼마나 자주 차이를 보이는가, 결과가 유의성을 보이지 않을 경우 체계적 문헌고찰 내 본문 또는 초록에 부분적으로만 보고되는 경우가 얼마나 흔한가 등에 대한 조사연구를 의미한다.
분석할 연구의 선정, 자료 추출 및 바이어스 위험 평가는 두 명의 저자가 각각 독립적으로 수행하였다. 이 과정에서 생기는 의견 불일치는 세 번째 저자가 해결하였다.추가적인 미출간 자료가 있는지에 대해서도 분석할 연구들의 저자에게 연락하였다. 1차 평가변수는 선택적 선정 또는 선택적 보고의 전반적 유병률, 선택적 선정/보고와 효과 추산치의 통계적 유의성 간 상관관계, 선택적 선정/보고와 효과 추산치의 방향성 간 상관관계였다. 변량-효과 메타 분석 모형으로 유병률 추산치를 취합하고 위험비를 계산하였다.
7개 연구가 분석에 포함되었다. 아래 두 가지를 조사한 기존 연구는 없었다.1) 체계적 문헌고찰 내 선택적 결과 선정 2) 사전 등록된 체계적 문헌고찰 계획과 출간된 체계적 문헌고찰 결과 간 불일치. 485개의 코크란 리뷰가 포함된 4개 연구에 대한 메타 분석 결과, 체계적 문헌고찰 중 38% (95% CI 23% to 54%) 에서 리뷰 계획서와 실제 출간된 논문 간 적어도 1개 이상의 결과 변수 추가, 생략, 1/2차 평가변수의 변경을 발견하였다. 체계적 문헌고찰 계획서와 출간된 논문 간의 결과 보고 차이가 해당 결과의 통계적 유의성과 연관되어 있는지는 불확실했다. 2개 연구의 552개 메타 분석에 대한 메타-메타 분석에서는, 결과가 통계적 유의성을 보일 경우 결과 변수 추가 또는 승격 (2차 평가변수가 1차 평가 변수로 변경됨) 위험이 증가하는 것으로 추산되었다 (RR 1.43, 95% CI 0.71 to 2.85). 또한, 2개 연구의 484개 메타 분석에 대한 메타-메타 분석에서는, 결과가 통계적 유의성을 보일 경우 결과 변수 격하 (1차 평가 변수가 2차 평가 변수로 변경됨) 위험 역시 증가하는 것으로 추산되었다 (RR 1.26, 95% CI 0.60 to 2.62). 다만, 두 분석 모두 95% 신뢰구간이 '차이 없음' 지점을 포함하며 위험 감소 역시 개연성 있는 추산일 수 있음을 유의해야 한다. 분석에 포함된 연구들 중, 통계적 유의성과 결과 변수의 추가/승격/격하 간 상관관계가 1) 대조 유형 2) 효과의 방향 3) 결과 변수의 유형 등에 따라 차이가 나타나는지 또는 효과 추산치의 방향성과 결과 보고 상 (계획서와 실제 논문 간) 불일치 사이의 상관관계가 있는지 조사한 연구는 없었다.
분석에 포함된 연구들은 여러 종류의 2차 평가 결과를 보고하였다. 두 연구에서는, 결과 보고 불일치 사유가 체계적 문헌고찰 논문에 잘 보고되지 않았음을 발견하였다 (6% 와 22%). 62 개의 코크란 리뷰를 포함한 한 연구에서는, 체계적 문헌고찰 중 32% (95% CI 21% to 45%) 에서 초록에 모든 1차 평가변수를 보고하지 않았음을 발견하였다. (64개의 코크란 리뷰와 118개의 비-코크란 리뷰를 포함한) 다른 연구에서는, 통계적으로 유의한 결과를 나타내는 1차 평가 변수는 유의하기 않은 결과를 나타내는 1차 평가변수에 비해 체계적문헌고찰 초록에서 보다 더 완전하게 보고되는 경향이 있음을 발견하였다 (RR 2.66, 95% CI 1.81 to 3.90). 분석에 포함된 모든 연구들은, 2009년 체계적 문헌고찰 보고 표준, 즉 체계적 문헌고찰 및 메타 분석 보고의 선호 항목 (PRISMA) 및 코크란 중재 리뷰의 방법론적 표준 (MECIR) 이 보급되기 이전의 체계적 문헌고찰만 포함시켰다. 따라서, 우리의 분석 결과는 최근의 체계적 문헌고찰에는 적용시키기 어려울 수도 있다.
이 리뷰는 김건형 님 (부산대학교 한의학전문대학원) 이 번역하였습니다. 궁금한 점은 김건형 (pdchrist@gmail.com) 에 연락주세요.