再現性欠如が招いたデューク大学の遺伝学危機【ChatGPT統計解析】
2006年、ガンの特定変異を標的にした遺伝学的検査が注目され、デューク大学の研究者はその効果的な薬選定手法を試験したが、研究に多くの不正確さがあった。生物統計学者バガリーとクームスがデータを検証すると、データの分類ミスや重複などが判明し、さらに修正作業で問題が増えた。外部評価委員会はこの誤りを見逃し、試験は続行されたが、研究を主導したアニル・ボディの虚偽が後に発覚し、彼は辞職した。これにより試験は中止され、関連企業も閉鎖。再現性欠如と学術誌の否定的結果掲載の困難さが浮き彫りに。ボディの研究に2,000時間費やしたバガリーらの調査を経て、データと分析手順の不十分な記録が批判され、再現性確保が困難であることが指摘された。研究過程は手動作業が多く、誤りが発生しやすいことが問題視されるが、決定的な記録がないまま時間が経つと再現が難しくなる。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
再現不可能な遺伝学
この問題は2006年に始まった。
このとき,新しい遺伝学的検査によって,患者のガンの特定の変異を化学療法で注意深くねらうことができるようになることが期待された。
デューク大学の研究者が試験をしたところ,彼らの手法を使えば腫瘍に対して最も感性がある薬を判断できることが示された。
こうした手法があれば,患者は効果的でない治療がもたらす副作用から免れることができる。
腫瘍学者はこの待ち望んでいたものに興奮し,他の研究者は自分自身の研究を始めた。
だが,最初に腫瘍学者たちはキース・バガリーとケビン・クームスという2人の生物統計学者にデータの確認を依頼した。
これは予想より難しいことだった。
元々の論文には分析を再現するのに十分な詳細が載っていなかったので,バガリーとクームスは生のデータともっと詳しい情報を得るためにデューク大学の研究者に連絡を取った。
問題はすぐに見つかった。
データのいくつかは正しく分類されていなかった。
薬に耐性がある細胞のグループが感性があるものとして分類されていたり,あるいはその逆が起きていたのだ。
データの中で重複していた標本もあった。
時には,重複した標本で,一方は感性があるとされ,もう一方は耐性があるとされているものもあった。
デューク大学の研究者が出した修正によって,これらの問題のいくつかが解決されたものの,同時にこの修正で重複したデータがさらに増えてしまった。
いくつかのデータは,間違って1つずつずれた状態になっていた。
ある細胞のセットからの測定結果が,他の細胞系を分析するときに用いられたせいだ。
遺伝子マイクロアレイは,バッチ間で有意なばらつきがあった。
そして,マイクロアレイ機器のもたらす効果が,真の生物学上の違いと分離できなくなっていた。
ある薬の結果を示すとされていた図は,実際には他の薬の結果を含んでいた。
とどのつまり,この研究はめちゃくちゃだったのだ。
多くの誤りがデューク大学の研究者に対して指摘されたにもかかわらず,この遺伝学上の結果を用いて,米国国立ガン研究所が資金を提供した臨床試験がいくつか開始された。
バガリーとクームスは元々の研究が掲載された学術誌に研究に対する応答を公表しようとしたが,いくつかの状況においては掲載が拒否された。
革新的な研究の方が,退屈でうんざりするような統計の詳細よりおもしろいのだ。
それにもかかわらず,米国国立ガン研究所は問題に関するうわさをかぎつけて,デューク大学の管理者に業績を再評価するように求めた。
同大学は,外部評価委員会を設置することで応えたが,この委員会はバガリーとクームスの結果を利用できなかった。
当然のことながら,委員会は誤りを何も発見せず,試験は続けられた。
ここでの誤りが本格的な注目を浴びたのは,後々になってからだった。
バガリーとクームスが発見を公刊してからしばらく経ったころ,ある業界誌がデューク大学で研究を主導していたアニル・ボディの履歴書に虚偽があることを報じた。
ボディの論文のいくつかは撤回され,結局,詐欺との非難を受ける中,ボディはデューク大学を辞職した。
結果を利用していたいくつかの試験は中止され,この技術を売るために設立された会社は閉鎖された。
ボディの事案は2つの問題の例証となっている。
それは,現代科学の多くで見られる再現可能性の欠如と,学術誌に否定的だったり矛盾したりする結果を載せることの困難さだ。後者の問題については次の章のために取っておきたいと思う。
再現可能性というのは人気のある空虚な専門用語と化している。
なぜそうなったかについてお分かりになる読者もいるかもしれない。
バガリーとクームスはボディが何をして何を間違えたのかということを理解するのに,2000時間を費やしたと推計している。
こんな暇な時間がある学者はほとんどいない。
もしボディの分析ソフトとデータが精査のために隠されることなく手に入るものだったら,疑い深い同僚がボディの仕事の個々の段階を再現するのに苦労させられることはなかっただろう。
単にコードを読み通して,各々の図やグラフがどこから来たのかを見るだけで良かったのだ。
問題は,ボディがデータをすぐに共有しなかったことだけに限られない。
科学者は,生データを結果に変換するときに踏んだ段階について,記録や文書化をしないことがしばしばある。
記録してあったとしても,科学論文のしばしば曖昧な書式か,実験ノートに書き残したものぐらいだ。
生データは,編集を経て,他の形式へ変換し,他のデータセットと結びつける必要がある。
統計分析は,時には特別にあつらえられたソフトで実施する必要がある。
そして,図表は結果から作る必要がある。
こうした作業はしばしば人の手で行われる。
少量のデータをコピーした上で,他のデータファイルやスプレッドシートに貼り付けるのだ。
これは非常に誤りを招きやすい手順だ。
責任を負う大学院生のストレス過多な記憶を除けば,こうした手順の決定的な記録は存在しないのが普通だ。
その学生が修了してから何年か経った後に,処理のすべての段階を調査し再現できることを望んでいるにもかかわらず,記録は存在していないのだ。
2006年、新たな遺伝学的検査によって、患者のガンにおける特定の遺伝子変異を標的にして化学療法をより精密に行えるようになるという期待が高まり、腫瘍学者たちは興奮を隠しきれなかった。デューク大学の研究者がこの技術を試験し、特定の手法によって腫瘍に最も効果的な薬を判別できると示唆される結果が発表され、患者は無効な治療による副作用を回避できるとされた。他の研究者もこの革新的な手法に影響を受け、自身の研究に着手した。ところが、試験を進める腫瘍学者たちは生物統計学者であるキース・バガリーとケビン・クームスにデータの検証を依頼し、彼らの手法の正確さを確認しようとした。しかし、これが予想以上に難しい作業となった。発表された論文には再現性を担保するための十分な情報が記載されておらず、バガリーとクームスは生データおよび詳細情報を得るためデューク大学の研究者と接触を図る必要があった。そして、すぐに問題が露呈した。生データには不正確な分類が見られ、薬に対して耐性を持つ細胞群が誤って感性があると分類されたり、その逆があったりしたのである。データセットの中には重複している標本も存在し、時には同一標本が一方では感性があるとされ、もう一方では耐性があるとされていた。こうした不整合は、実際の臨床試験における判断の信頼性に深刻な影響を及ぼす可能性があった。デューク大学の研究者がいくつかの修正を試みたことで一部の問題は改善されたが、その過程でデータの重複がさらに増え、結果としてデータの質が一層混乱した。さらに、あるデータセットの測定結果が誤って別の細胞系の分析に使用されるという、明確なデータの不整合も確認された。遺伝子マイクロアレイの使用においてはバッチ間で統計的に有意なばらつきが存在しており、これによりマイクロアレイ機器によってもたらされた効果と実際の生物学的違いが分離できなくなっていた。ある薬の試験結果を示すとされていた図表に実際には他の薬の結果が含まれていた例もあり、全体として研究の構造は複雑で混乱したものとなっていたのである。これらの問題が指摘されたにもかかわらず、デューク大学の研究成果を基にして米国国立ガン研究所の資金提供を受けた臨床試験がいくつも開始された。バガリーとクームスは元の研究を掲載した学術誌に研究への応答を公表しようと試みたが、特定の状況では掲載が拒否されることもあった。学術誌は革新的で注目を集める研究の方が退屈な統計的分析の詳細よりも読者を引きつけると考える傾向があり、結果的に批判や矛盾を含む内容は敬遠されることが多い。しかし米国国立ガン研究所はデューク大学の研究に関する噂を聞きつけ、デューク大学の管理者に業績の再評価を求めることとなった。デューク大学は外部評価委員会を設置し、問題への対応を図ろうとしたが、この委員会はバガリーとクームスが発見した不正確さを十分に利用できず、誤りの発見には至らなかったため、臨床試験は続行された。誤りの存在が公然と注目を集めたのは、研究が大々的に批判されるようになった後のことである。バガリーとクームスが発見を公表してから時間が経ったある日、業界誌がデューク大学で研究を指揮していたアニル・ボディの履歴書に虚偽が含まれていることを報じ、このことが事態をさらに複雑化させた。ボディの過去のいくつかの論文は撤回され、最終的に彼は詐欺の非難を受け、デューク大学を辞職することとなった。これに伴い、デューク大学の研究を基にした複数の臨床試験が中止され、この技術を商品化するために設立された企業も閉鎖を余儀なくされた。この事案は、現代の科学界で再現可能性の欠如が大きな問題となっていることを示す一例として注目された。再現可能性とは、ある研究結果を別の研究者や機関が同じ手順で再現できることを指すが、バガリーとクームスが指摘したように、現代科学においてはこれがしばしば欠けている。さらに学術誌が否定的な結果や矛盾する結果を掲載することの困難さも問題として浮かび上がった。これは科学界全体において深刻な課題となっており、特に革新性を重視するあまり慎重なデータ検証が軽視されがちなことが多い。バガリーとクームスはボディが行ったことや彼が間違った点を理解するのに2,000時間を費やしたと推定しており、このような時間を割ける学者はごく少数しかいないことを示している。もしもボディの使用した分析ソフトウェアやデータが最初から透明に共有されていれば、疑問を抱いた他の研究者がボディの研究を詳細に再現するのは容易だっただろう。単にコードを確認して各グラフや図表がどのように作成されたかを追跡するだけで済むはずだった。しかしボディのケースにおいては、データの共有が遅れ、研究の信頼性が損なわれる要因となった。科学者は研究の過程で生データから結果を得るまでのステップを詳細に記録し、文書化することがしばしばなく、あるいは記録があっても学術論文の形式に準じた曖昧な書き方にとどまることが多い。データが生から結果へと変換される過程では、編集を加えて別の形式に変換し、他のデータセットと結合する必要がある。また、統計分析は専用のカスタムソフトウェアを使用して行われる場合も多く、その結果が図表にまとめられる。この一連のプロセスは多くの場合人力で行われ、少量のデータをコピーして他のファイルやスプレッドシートに貼り付けるといった作業も含まれるため、誤りが発生しやすい。そのため、研究における重要な手順がストレスを抱えた大学院生の記憶に頼るような状況がしばしば見受けられる。博士課程や修士課程の学生が卒業して時間が経った後、研究の再現性を求めてすべての処理段階を詳細に再検証するのは難しい。その結果、後になって研究の正確さを証明しようとしても、詳細な記録が残っていないことで再現性の確保が困難になるのである。このような問題は科学の進歩において重要な課題となっており、透明性や精度の向上が求められる。ボディの事例は科学の再現性に関する課題が単なる抽象的な問題ではなく、現実に多くの研究プロジェクトや資金提供、患者の治療に影響を与えるものであることを示している。
関連記事