최근에 75편의 논문을 검토해본 결과 암 임상실험의 1/3이상이 통계학적 방법론에 오류가 있는 것으로 밝혀져서 파문을 일으키고 있다. 즉 검토결과 45%에 달하는 34편의 논문은 무작위 임상실험의 결과를 적절한 방법을 사용해서 분석했지만, 35%에 달하는 26편의 논문은 부적절한 방법을 사용한 것으로 드러났다.

주저자인 오하이오주립대학의 머레이교수에 의하면 특정한 연구결과가 틀렸다고 말할 수는 없지만 일부 논문은 연구결과의 의미를 아마도 과장한 것으로 추정된다고 한다.

이들 연구진은 2002년부터 2006년까지 발표된 41개 의학잡지에 수록된 75편의 논문을 검토해보았다. 검토한 논문의 8%는 적절한 방법과 비적절한 방법을 혼합해서 사용했고 9편의 논문은 사용한 방법론이 적절한지 비적절한지를 판단할 충분한 자료조차 찾을 수가 없었다.

부적절한 방법을 사용한 논문 중 88%는 통계적으로 유의미한 개입효과가 있는 것으로 밝히고 있지만 분석상의 결함으로 과학자들과 정책입안자들을 오도할 수가 있다고 한다. 머레이교수에 의하면 일반적으로 과학에서 5%의 오류는 허용된다고 한다. 그러나 이런 유형의 연구에서 잘못된 분석방법을 사용하면 오류가 50%가 될 수가 있고 그렇게 되면 과학이 진보할 수가 없게 될 것이라고 한다.

머레이교수는 이들 연구에서 고의적으로 부적절한 방법을 사용하거나 임상실험 결과를 왜곡시키기 위해 부적절한 방법을 사용한 것은 아니라고 밝히고 있다. 그는 이번 연구결과에 놀라지는 않았다고 한다. 그 이유는 다른 분야에서도 논문을 검토해본 결과 유사한 유형의 문제점을 발견했기 때문이라고 한다. 머레이교수의 연구진은 연구가들이 환자를 무작위로 추출해서 연구하는 방법에 밝은 통계학자들과 협력할 것을 촉구했다.

논문의 수가 양적으로는 폭발적으로 늘어나지만 질적으로는 심각한 문제가 있는 점이 밝혀졌다. 오류투성이인 과학과 의학을 어느 정도까지 믿어야 할까?

출처:
D. M. Murray et al, "Design and Analysis of Group-Randomized Trials in Cancer: A Review of Current Practices" J Natl Cancer Inst, 2 April 2008; 100: 483 - 491.