学術論文の偏りと見過ごされる真実【ChatGPT統計解析】
学術論文には、研究内容を極めて短く要約し成功した部分だけが報告される傾向がある。多くの論文では、結果に関係のない測定や有意でない結果は省略されることが多い。さらに、主要な学術誌は語数制限があるため、否定的な結果や詳細な方法論が割愛されがちだ。例として「ランセット」は3000語未満、「サイエンス」は4500語未満に制限し、手法はオンライン付録に書くことを奨励する。プロトコルの詳細も論文に反映されにくく、標本の大きさに関する計算方法が詳述されることは少ない。臨床試験で計画した人数を集められないことが多く、変更の理由や結果への影響について説明されないこともある。委員会に提出された文書に記載されている評価項目で有意な変化が見られたものだけが報告され、有意でないものは報告されていないように見える。調査では、結果の割愛を否定した研究者が実際には報告していない例が多く見つかった。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
偏った公刊
存在するかどうか分からないデータを求めることは難しい。
学術誌に載った論文は,報告対象となった何年間もの研究を極めて短く要約したものに過ぎないことがしばしばある。
しかも科学者にはうまくいった部分を報告しようとする性向がある。
測定したものや検定が最後の結論に関係ないと分かったら,それらは省略されてしまう。
出てきたものをいくつか測定して,そのうちの1つで研究期間中の変化が統計的に有意なものでなかったとしたら,そこで有意でないことが特に興味深いものでないかぎり触れられることはないだろう。
学術誌の語数制限によって,否定的な結果や方法論の詳細を割愛せざるをえなくなることはしばしばある。
そして,主要な学術誌で論文の語数に制限をかける例は珍しくない。
例えば,「ランセット」は記事を3000語未満にすることを要請している。
これに対して,「サイエンス」は記事を4500語までに制限した上で,記事のオンライン付録に手法を書くように勧めている。
オンラインでしか出版されない「プロス・ワン」のような学術誌では印刷にお金を払う必要がないので,長さの制限がない。
既知の未知
何を載せなかったかということが分かるように研究を検討することは可能だ。
医学的試験を主導する科学者は,試験を始める前に倫理委員会に詳細な研究計画を示さなくてはならない。
ある研究者グループは,デンマークの一委員会からこうしたプロトコルを集めたものを手に入れた。
プロトコルは,患者を何人募集するのか,どんな評価項目を測定するのか,患者が途中で脱落したり思いがけず標本が失われてしまったりするなどの欠測データをどう扱うのか,統計分析はどう行うのかといったことを具体的に明記するものだ。
だが,多くの研究のプロトコルには重要な詳細部分に漏れがあり,しかも公刊された論文でプロトコルに合致しているものはほとんどなかった。
今まで,十分に大きな標本となるようにデータを集めることが研究にとってどれほど重要かということを見てきた。
倫理委員会に納められた文書のほとんどで,適切な標本の大きさを決定するために用いられた計算方法は詳しく書かれていた。
しかし,公刊された論文のうち,標本の大きさの計算方法が詳しく書かれていたものは半数に満たなかった。
臨床試験のために患者を集めることは難しいようで,半数の研究が意図していた数とは異なる人数の患者を集めていた。
そして,時には,変更が発生した理由や変更が結果に及ぼす影響について,研究者が説明しないこともあった。
さらなる問題として,多くの研究者が結果を割愛していたことが挙げられる。
委員会に納められた文書には,副作用率や患者が報告した症状など,それぞれの研究で測定されることになる項目が列挙されている。
こうした評価項目のうち統計的に有意な変化が見られたものは,たいてい公刊された論文の中で報告されていたが,統計的に有意でなかったものはまったく測定されていなかったかのように割愛されていた。
明らかに,このことは多重比較を隠す方向に至る道だ。
多数の評価項目を調べていたのに,少数の統計的に有意な項目しか報告していないのかもしれないのだ。
大して気にしない人が読めば,有意でない評価項目も含めて調査されていたことに気づくことはないだろう。
調査が行われた際,研究者のほとんどは,評価項目の結果を割愛したことを否定していた。
しかし,委員会に納められた文書はその主張が偽りであることを示している。
ある研究者は結果の割愛を否定したのだが,実際にはその研究者が書いた論文のすべてにおいて報告されていない結果があった。
学術論文はしばしば研究内容を簡潔にまとめるため、報告される内容は実際の研究で得られた全データの一部に限られている。研究者たちは論文において成果を示すことが求められるため、成功した部分や有意な結果を中心に報告する傾向が強い。これにより、測定した要素や統計的な検定が最終的な結論に結びつかない場合、それらは論文から省略されることが一般的である。仮に研究中に複数の要素を測定し、そのうちの1つで有意な変化が見られなかったとしても、その結果が特に興味深いものでない限り報告されることはない。さらに、主要な学術誌では語数制限があるため、研究の詳細や否定的な結果を含める余裕がなく、そうした情報は割愛されることが多い。例えば「ランセット」では記事を3000語未満に制限し、「サイエンス」では4500語までの制限があり、手法の詳細はオンライン付録に記載することを奨励している。一方、オンライン限定の学術誌である「プロス・ワン」などでは、印刷にかかるコストがないため、語数制限がないため、研究の詳細をより包括的に記述できる可能性がある。しかし、このような報告の偏りは、科学の進展に悪影響を及ぼすことがある。研究結果の一部のみを報告することで、科学的な透明性や再現性が失われる危険があるためである。科学者が倫理委員会に研究開始前に提出するプロトコルには、研究計画や詳細な方法論が記されている。これには、患者の募集人数、測定する評価項目、欠測データの扱い、統計分析の方法などが含まれるが、論文として公刊される際には、これらの詳細が欠落することが少なくない。ある研究者グループは、デンマークの倫理委員会から提供されたプロトコルをもとに研究の内容を分析したところ、多くの研究がプロトコルに明記された内容を完全に反映しておらず、重要な情報が報告から漏れていることが判明した。具体的には、適切な標本サイズの計算方法が倫理委員会に提出された文書では詳述されていたにもかかわらず、公刊された論文ではその記載が半数に満たなかった。これは、論文で報告された内容が研究計画と一致していないことを示しており、研究の透明性に問題をもたらしている。また、臨床試験においては計画した人数の患者を集めることが難しいことも多く、実際に集まった人数が計画とは異なることも半数に及んでいた。このような場合、研究者が変更の理由やその影響を説明しないことも少なくない。結果として、研究内容が歪められ、再現性に支障をきたす可能性がある。さらに、研究者が報告する内容を取捨選択する際、有意でない評価項目が省略されることが多く見受けられる。倫理委員会に提出された文書には、副作用の発生率や患者からの症状報告などの詳細が列挙されているが、有意な変化が見られたものだけが報告され、それ以外はまるで測定されなかったかのように割愛されるケースが多い。これは、多重比較問題の発生を隠蔽する結果を招くこともある。つまり、研究者が多数の評価項目を検討していながら、そのうち統計的に有意なものだけを選んで報告している可能性があるのである。このような手法により、学術誌の読者は有意でない評価項目も含めて調査された事実に気づくことが難しくなる。調査の結果、研究者たちの多くが評価項目の結果を割愛したことを否定していたにもかかわらず、実際には委員会に提出された文書がその主張を裏付けないケースが多く見つかった。つまり、研究者が結果を報告する際に透明性を欠くことがしばしばあり、これは科学の信頼性やデータの再現性に深刻な影響を及ぼす。例えば、ある研究者は自らの論文において結果の割愛を行っていないと述べたが、実際にはその研究者が著した全ての論文において報告されていない結果が存在していた。科学的研究の報告においては、選択的な報告が科学的理解を歪め、他の研究者が同様の実験を再現する際に不完全な情報しか得られない事態を招く。このような現象を防ぐためには、研究者が透明性を持ってデータを公開し、有意でない結果や否定的な結論も含めた完全な報告を行うことが重要である。これにより、科学の進展が促進され、誤った理解に基づく発展を防ぐことができる。倫理委員会のプロトコルや関連する情報を活用し、研究の結果をより正確に反映させることが求められている。研究者たちは自身の研究がいかに公正で再現性のあるものであるかを示す責任がある。この責任を果たさなければ、科学界全体の信頼が損なわれる危険があるため、今後はより厳密な基準をもって報告することが望まれる。
関連記事