コクラン共同計画と結果報告の偏り問題【ChatGPT統計解析】
コクラン共同計画はランダム化試験のメタ分析を通じて最良の科学的根拠を提供しているが、結果報告の偏りという問題が存在する。論文でつまらない結果が報告されない、詳細が不十分な場合、再調査が極端な結果に偏り、アウトカム報告バイアスが生じる。再調査の3分の1以上がこの偏りの影響を受けている可能性があり、未公刊の結果を含めることで分析結果が大きく変わることもある。欠測データも偏りを引き起こし、詳細部分の欠如が問題となることが多い。報告基準であるCONSORTチェックリストは詳細報告を促進するが、一貫性がなく基準がすり抜けることがある。心理学や生物学でも同様の問題があり、重要な詳細が報告されず再現性が損なわれることが多い。生物医学では特に、使用した物質や試薬の報告が不十分で結果の再現性が失われるリスクがある。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
コクラン共同計画の結果報告の偏り
しっかりと行われた多数のランダム化試験に対するメタ分析は,医学において最良の科学的根拠とされている。
例えば,国際的なボランティア団体であるコクラン共同計画(Cochrane Collaboration)は,医学のさまざまな問題について公刊されたランダム化試験の系統的再調査をしている。
そして,それに基づいて当該分野における現在の知識をまとめた報告書を作ることで、科学的根拠に基づいた最も優れた裏づけがある治療法と技術を示している。
これらの報告書は,包括的な詳細事項と綿密な方法論があることから高く評価されている。
しかし,査読付きの出版物につまらない結果が絶対に載らなかったり,利用するために必要な詳細が十分に示されなかったりすれば,コクラン共同計画の研究者がこうした結果を再調査の対象に含められなくなってしまう。
そして,このことにより,結果報告の偏り(outcome reporting bias)として知られている問題が引き起こされ,系統的再調査が,より極端な結果かよりおもしろい結果に偏ってしまうのだ。
コクラン共同計画の再調査が,早産になろうとしている妊婦への処置としてある特定のステロイド薬を使用することについて扱うもので,関心がある評価項目として乳児死亡率がある場合,公刊された研究で死亡率のデータを集めておきながら統計的に有意でなかったためにその詳細を記述しなかったものがあれば,望ましいものにはならない。
コクラン共同計画の系統的再調査に対して系統的再調査を実施したところ,3分の1以上が結果報告の偏りに影響されている可能性があるということが明らかになった。
コクラン共同計画で再調査に携わった人は,時に,結果報告の偏りが存在することに気づかずに,評価項目が単に測定されていないだけだと仮定していた。
公刊されていない結果が含まれていた場合にコクラン共同計画の再調査の結果がどれだけ変わっていたかを正確に測定することは不可能だ。
ただ,再調査を再調査した人による推定によれば,統計的に有意だった再分析の結果の5分の1が有意でなくなり,4分の1が効果量が20%以上減少するそうだ。
他の再調査でも似たような問題が見つかっている。
そして,多くの研究が欠測データによる悪影響を受けている。
患者の中には,途中で脱落したり,定期健康診断に来なかったりする人がいるのだ。
データに欠測があることについての言及こそしばしば研究者からなされるものの,欠測の理由や不完全データを含む患者の分析時の扱いについての記述がないことはしばしばある。
だが,最悪の副作用をともなった患者が途中で脱落して計算に入れられなかったような場合などで,欠測データは偏った結果を生み出しうるのだ。
他の医学的試験に対する再調査では,ほとんどの研究が停止規則や検定力の計算といった方法論に関する重要な詳細部分を載せていないことが示されている。
そして,大きな一般的医学誌に比べて,小さな専門的学術誌に載っている研究の方がまずいことになっている。
医学誌は,統計手法,測定された評価項目のすべて、そして,開始時からの試験計画変更のすべてを報告するように求めるCONSORTチェックリストといった結果報告の基準を設けることで,この問題に対処しはじめている。
論文の著者には,研究内容を投稿する前にチェックリストの要求に従うことが求められる。
そして,編集者には,関連する詳細部分がすべて含まれているかを確かめることが求められる。
チェックリストはうまくいっているようだ。
ガイドラインに従う学術誌で公刊された研究は,すべてでないにせよ,より本質的な詳細を報告するようになっている。
ただ,残念なことに,基準の適用に一貫性がなく,詳細部分の欠けた研究がすりぬけることがしばしばある。
学術誌の編集者は,しっかりと報告基準を守らせるために,さらに努力する必要があるだろう。
もちろん,報告に不足があることは,医学に限られた問題ではない。心理学者の3分の2が,論文の中で結果変数のいくつかを割愛することが時々あると認めている。
これによって,結果報告の偏りが生み出されることになる。
また,心理学者は同じ現象を別々の角度から調べるために,1つの論文の中で複数の実験を報告することがよくあるのだが,心理学者の半数がうまくいった実験だけを報告したことを認めている。
こうした慣習は,調査に回答した人のほとんどが弁明の余地がないだろうと認めているにもかかわらず,しつこく残りつづけている。
生物学と生物医学の研究では,患者の登録や検定力の計算に関する報告が問題になることはあまりない。
むしろ,実験で使用されるもの−多数の化学薬品,遺伝子組み換え生物,特別に繁殖させた細胞系,抗体−に問題があるのだ。
これらの要素に結果は大きく影響されるのだが,多くの学術誌でこうした要素を報告するためのガイドラインがない。
このことによって,生物医学の論文で言及された化学薬品や細胞の大多数が,一意に決定することができなくなってしまっている。
このことは,厳しい報告要件を設けている学術誌であっても当てはまる。
納入業者に注文する抗体がどれなのか免疫学の論文で述べられていなければ,その論文で示されたことを再現できるわけがないのだ。
コクラン共同計画は、ランダム化試験のメタ分析を通じて、医学分野における最も信頼性の高い科学的根拠を提供する組織として広く知られています。この計画は、国際的なボランティア団体であり、医学のさまざまな問題について既に公刊されたランダム化試験を系統的に再調査し、その結果をもとに当該分野の知識をまとめた報告書を作成することで、科学的根拠に基づいた最も優れた治療法や技術を示しています。これらの報告書は、包括的な詳細と厳密な方法論によって高く評価されているものの、その過程で結果報告の偏り(outcome reporting bias)という問題がしばしば見受けられます。査読付きの出版物には、統計的に有意でない結果や、興味を引かないものは掲載されないことがあり、これが結果報告の偏りを引き起こす要因となります。たとえば、コクラン共同計画の研究者が再調査を行う際、研究結果に必要な詳細が公刊されていない場合、それらを再調査の対象に含めることができなくなります。こうして生じる報告の偏りは、系統的再調査が極端な結果や、より目立つ面白い結果に偏る原因となるのです。実際に、コクラン共同計画の再調査において、結果報告の偏りによる影響が指摘されるケースは少なくありません。例えば、ある特定のステロイド薬の使用について、早産になろうとしている妊婦に対する処置としての効果を再調査する際、乳児死亡率といった評価項目が含まれていたとしても、公刊された研究において死亡率データが統計的に有意でなかったため、その詳細が記述されていないことがあります。これにより、再調査は望ましい結果に基づいて構築されなくなる可能性があるのです。系統的再調査が結果報告の偏りに影響されている割合は高く、ある研究によると、コクラン共同計画による再調査の3分の1以上がこの影響を受けていることが明らかになりました。さらに、コクラン共同計画の再調査に携わる研究者は、時に結果報告の偏りの存在に気づかず、評価項目が単に測定されなかったと仮定することがあります。しかし、未公刊の結果が含まれていた場合に再調査の結論がどう変わるかを正確に測定することは困難です。再調査を再調査した結果、統計的に有意であった再分析の結果の5分の1が有意でなくなり、4分の1が効果量が20%以上減少するとの推定がなされています。これらの問題はコクラン共同計画に限らず、他の医学的再調査でも見つかっています。たとえば、多くの研究が欠測データによる悪影響を受けています。欠測データの問題は患者が途中で脱落したり、定期健康診断に来なかったりすることから生じ、これが偏った結果を導く要因となり得ます。欠測データの存在は研究者によって言及されることはありますが、欠測の理由や不完全データを含む患者をどのように分析に取り入れたかについての詳細な記述が不足していることが多いのです。最悪の場合、深刻な副作用を経験した患者が途中で脱落して計算に含まれなかった場合など、欠測データが結果に偏りをもたらすことがあります。他の医学的試験に対する再調査では、研究が停止規則や検定力の計算といった方法論に関する重要な詳細を十分に報告していないことも示されています。大規模な一般的医学誌に比べ、小規模な専門的学術誌で発表される研究のほうがこれらの問題が多いことがわかっています。こうした問題に対応するために、医学誌はCONSORT(Consolidated Standards of Reporting Trials)チェックリストといった基準を設け、統計手法や測定された評価項目のすべてを報告するように研究者に求めています。論文の著者は研究を投稿する前にこのチェックリストの要求に従うことが義務付けられており、編集者は関連する詳細がすべて含まれているかを確認することが求められます。チェックリストの導入は一定の成功を収めており、ガイドラインに従う学術誌で発表された研究はすべてではないにせよ、より本質的な詳細を報告するようになっています。しかし、この基準の適用には一貫性が欠けており、詳細部分の欠如した研究がすり抜けることも依然として見られます。医学的報告に不足があることは医学のみに限られた問題ではありません。心理学の分野でも、報告の偏りは存在し、心理学者の3分の2が論文中で結果変数の一部を省略することがあると認めています。これにより、結果報告の偏りが生まれ、データが研究の全体像を正確に反映しない原因となります。心理学者が複数の実験を1つの論文で報告する際、うまくいった実験だけを報告することが多く、回答者の半数がこの行為を認めています。こうした慣習は、ほとんどの心理学者がその問題を自覚しているにもかかわらず、根強く残り続けています。生物学や生物医学の分野では、患者登録や検定力の計算の報告に問題が生じることは少ないものの、実験で使用される多数の化学薬品、遺伝子組み換え生物、特別に繁殖させた細胞系、抗体といった要素が結果に大きな影響を与えることが指摘されています。しかし、多くの学術誌では、これら要素の報告に関する明確なガイドラインが存在しないため、生物医学の論文に記載された化学薬品や細胞の多くが一意に決定されることが難しいのが現状です。この問題は、報告要件が厳格な学術誌でも見られ、使用した試薬や物質の詳細が十分に報告されないことで、結果の再現性が失われるリスクが高まります。例えば、免疫学の論文において使用された抗体の納入業者が明記されていない場合、その研究の結果を再現することが困難になります。
関連記事