コクラン共同計画の結果報告の偏り

しっかりと行われた多数のランダム化試験に対するメタ分析は，医学において最良の科学的根拠とされている。

例えば，国際的なボランティア団体であるコクラン共同計画(Cochrane Collaboration)は，医学のさまざまな問題について公刊されたランダム化試験の系統的再調査をしている。

そして，それに基づいて当該分野における現在の知識をまとめた報告書を作ることで、科学的根拠に基づいた最も優れた裏づけがある治療法と技術を示している。

これらの報告書は，包括的な詳細事項と綿密な方法論があることから高く評価されている。

しかし，査読付きの出版物につまらない結果が絶対に載らなかったり，利用するために必要な詳細が十分に示されなかったりすれば，コクラン共同計画の研究者がこうした結果を再調査の対象に含められなくなってしまう。

そして，このことにより，結果報告の偏り(outcome reporting bias)として知られている問題が引き起こされ，系統的再調査が，より極端な結果かよりおもしろい結果に偏ってしまうのだ。

コクラン共同計画の再調査が，早産になろうとしている妊婦への処置としてある特定のステロイド薬を使用することについて扱うもので，関心がある評価項目として乳児死亡率がある場合，公刊された研究で死亡率のデータを集めておきながら統計的に有意でなかったためにその詳細を記述しなかったものがあれば，望ましいものにはならない。

コクラン共同計画の系統的再調査に対して系統的再調査を実施したところ，３分の１以上が結果報告の偏りに影響されている可能性があるということが明らかになった。

コクラン共同計画で再調査に携わった人は，時に，結果報告の偏りが存在することに気づかずに，評価項目が単に測定されていないだけだと仮定していた。

公刊されていない結果が含まれていた場合にコクラン共同計画の再調査の結果がどれだけ変わっていたかを正確に測定することは不可能だ。

ただ，再調査を再調査した人による推定によれば，統計的に有意だった再分析の結果の５分の１が有意でなくなり，４分の１が効果量が20％以上減少するそうだ。

他の再調査でも似たような問題が見つかっている。

そして，多くの研究が欠測データによる悪影響を受けている。

患者の中には，途中で脱落したり，定期健康診断に来なかったりする人がいるのだ。

データに欠測があることについての言及こそしばしば研究者からなされるものの，欠測の理由や不完全データを含む患者の分析時の扱いについての記述がないことはしばしばある。

だが，最悪の副作用をともなった患者が途中で脱落して計算に入れられなかったような場合などで，欠測データは偏った結果を生み出しうるのだ。

他の医学的試験に対する再調査では，ほとんどの研究が停止規則や検定力の計算といった方法論に関する重要な詳細部分を載せていないことが示されている。

そして，大きな一般的医学誌に比べて，小さな専門的学術誌に載っている研究の方がまずいことになっている。

医学誌は，統計手法，測定された評価項目のすべて、そして，開始時からの試験計画変更のすべてを報告するように求めるCONSORTチェックリストといった結果報告の基準を設けることで，この問題に対処しはじめている。

論文の著者には，研究内容を投稿する前にチェックリストの要求に従うことが求められる。

そして，編集者には，関連する詳細部分がすべて含まれているかを確かめることが求められる。

チェックリストはうまくいっているようだ。

ガイドラインに従う学術誌で公刊された研究は，すべてでないにせよ，より本質的な詳細を報告するようになっている。

ただ，残念なことに，基準の適用に一貫性がなく，詳細部分の欠けた研究がすりぬけることがしばしばある。

学術誌の編集者は，しっかりと報告基準を守らせるために，さらに努力する必要があるだろう。

もちろん，報告に不足があることは，医学に限られた問題ではない。心理学者の３分の２が，論文の中で結果変数のいくつかを割愛することが時々あると認めている。
これによって，結果報告の偏りが生み出されることになる。

また，心理学者は同じ現象を別々の角度から調べるために，１つの論文の中で複数の実験を報告することがよくあるのだが，心理学者の半数がうまくいった実験だけを報告したことを認めている。

こうした慣習は，調査に回答した人のほとんどが弁明の余地がないだろうと認めているにもかかわらず，しつこく残りつづけている。

生物学と生物医学の研究では，患者の登録や検定力の計算に関する報告が問題になることはあまりない。

むしろ，実験で使用されるもの−多数の化学薬品，遺伝子組み換え生物，特別に繁殖させた細胞系，抗体−に問題があるのだ。

これらの要素に結果は大きく影響されるのだが，多くの学術誌でこうした要素を報告するためのガイドラインがない。

このことによって，生物医学の論文で言及された化学薬品や細胞の大多数が，一意に決定することができなくなってしまっている。

このことは，厳しい報告要件を設けている学術誌であっても当てはまる。

納入業者に注文する抗体がどれなのか免疫学の論文で述べられていなければ，その論文で示されたことを再現できるわけがないのだ。