偏った公刊

存在するかどうか分からないデータを求めることは難しい。

学術誌に載った論文は，報告対象となった何年間もの研究を極めて短く要約したものに過ぎないことがしばしばある。

しかも科学者にはうまくいった部分を報告しようとする性向がある。

測定したものや検定が最後の結論に関係ないと分かったら，それらは省略されてしまう。

出てきたものをいくつか測定して，そのうちの１つで研究期間中の変化が統計的に有意なものでなかったとしたら，そこで有意でないことが特に興味深いものでないかぎり触れられることはないだろう。

学術誌の語数制限によって，否定的な結果や方法論の詳細を割愛せざるをえなくなることはしばしばある。

そして，主要な学術誌で論文の語数に制限をかける例は珍しくない。

例えば，｢ランセット｣は記事を3000語未満にすることを要請している。

これに対して，｢サイエンス｣は記事を4500語までに制限した上で，記事のオンライン付録に手法を書くように勧めている。

オンラインでしか出版されない｢プロス・ワン｣のような学術誌では印刷にお金を払う必要がないので，長さの制限がない。

既知の未知

何を載せなかったかということが分かるように研究を検討することは可能だ。

医学的試験を主導する科学者は，試験を始める前に倫理委員会に詳細な研究計画を示さなくてはならない。

ある研究者グループは，デンマークの一委員会からこうしたプロトコルを集めたものを手に入れた。

プロトコルは，患者を何人募集するのか，どんな評価項目を測定するのか，患者が途中で脱落したり思いがけず標本が失われてしまったりするなどの欠測データをどう扱うのか，統計分析はどう行うのかといったことを具体的に明記するものだ。

だが，多くの研究のプロトコルには重要な詳細部分に漏れがあり，しかも公刊された論文でプロトコルに合致しているものはほとんどなかった。

今まで，十分に大きな標本となるようにデータを集めることが研究にとってどれほど重要かということを見てきた。

倫理委員会に納められた文書のほとんどで，適切な標本の大きさを決定するために用いられた計算方法は詳しく書かれていた。

しかし，公刊された論文のうち，標本の大きさの計算方法が詳しく書かれていたものは半数に満たなかった。

臨床試験のために患者を集めることは難しいようで，半数の研究が意図していた数とは異なる人数の患者を集めていた。

そして，時には，変更が発生した理由や変更が結果に及ぼす影響について，研究者が説明しないこともあった。

さらなる問題として，多くの研究者が結果を割愛していたことが挙げられる。

委員会に納められた文書には，副作用率や患者が報告した症状など，それぞれの研究で測定されることになる項目が列挙されている。

こうした評価項目のうち統計的に有意な変化が見られたものは，たいてい公刊された論文の中で報告されていたが，統計的に有意でなかったものはまったく測定されていなかったかのように割愛されていた。

明らかに，このことは多重比較を隠す方向に至る道だ。

多数の評価項目を調べていたのに，少数の統計的に有意な項目しか報告していないのかもしれないのだ。

大して気にしない人が読めば，有意でない評価項目も含めて調査されていたことに気づくことはないだろう。

調査が行われた際，研究者のほとんどは，評価項目の結果を割愛したことを否定していた。

しかし，委員会に納められた文書はその主張が偽りであることを示している。

ある研究者は結果の割愛を否定したのだが，実際にはその研究者が書いた論文のすべてにおいて報告されていない結果があった。