▼▼▼▼▼▼▼▼
チャンネル登録はこちら

外的妥当性を脅かすもの

研究結果の一般化を制限するものは，標本の特性だけではない．研究状況のさまざまな側面も，研究の代表性，ひいては外的妥当性を左右する．

これらの特性は，研究をデザインするとき，そして結果を解釈するときに考慮に入れたほうがよい．

もっとも注目すべき研究の外的妥当性への脅威，とくに介入を含むものは，次の５つの影響である．

１．期待効果：対象は，研究に参加していることを承知しているために，いつもと違うやり方で行動するかもしれない（ホーソン効果）．

ある種の行動が，とくに研究の文脈ゆえに引き出されたならば，その結果は，さらに自然な環境には一般化できない．

同様に，見せかけの介入を施されている対象が変化や改善を示すとき，プラシーボ効果が生じる．

しかし，同じプラシーボが,研究の文脈で施されていないときは，いかなる効果もないかもしれない〔また，いわゆるノセボ効果（nocebo effect)の例もある．これは，プラシーボを受ける人々が副作用を体験するというものである〕．

潜在的ホーソン効果の例

ハンドレイ，ミルヌ，レイトンーペック，グラハム，フィトモーリス〔Hundley, Milne, Leighton-Beck, Graham, & Fitmaurice, 2000〕は，助産師とナースの研究意識の向上を目的とする介入をデザインした．

処理群は教育プログラムを受け，一方，コントロール群は受けなかった．

両群ともに事前テストより事後テストに知識が増えていた．

研究者は，それをホーソン効果として解釈した（それはまた，テスティングの影響の結果であった可能性もある）．

２．新奇性効果:処理が新しいと，対象も研究を行う側も，さまざまなかたちでその行動を変えることがある．

人々は，新しいやり方に夢中になるか，または懐疑的になる．

このため,研究結果には，介入に本来備わっている性質への反応というより，この新奇性への反応が反映するかもしれない．

したがって，いったんその処理に慣れてしまうと，結果が変わるかもしれない.

３．.ヒストリーと処理の交互作用効果：研究結果には,処理の効果と，研究に無関係ななんらかの事象が反映することがある．

研究に無関係な事象がないときにもう１度処理を行うと,違う結果を得るだろう．

たとえば，オーツ麦の独立変数には無関係な事象の発生），選択（グループ間に既存している差），成熟（時間の経過がもたらす変化），テスティング（アウトカムヘの事前テストの影響），測定用具（時間とともに，データ収集方法が変化すること），そして死亡（対象の自然減による影響）がある.

・外的妥当性は，他の標本や環境に対する，研究結果の一般化可能性をいう．外的妥当性は，標本がその母集団を代表するまで，また，研究設定環境や実験の計画が他の周囲環境を代表するまで高められる.

・対象母集団は，標本を抽出する母集団であり，標的母集団（目標母集団）は，関心をもっている，より大きな集団を示す．

研究者は，対象母集団にみられる特性をもとにして，標的母集団を設定しなければならない.

・外的妥当性への脅威には，期待効果（ホーソン効果，プラシーボ効果，ノセボ効果），新奇性効果，処理とヒストリーの交互作用効果，実験者効果，測定効果がある.

・研究デザインは，さまざまなタイプの妥当性の必要性を調整しなくてはならないが，その妥当性は互いに競合することもある．

この研究での従属変数は,歩行距離(活動許容度を測るために)，パルス酸素濃度計飽和率(酸素飽和率を測るために)，心拍数および呼吸回数(運動への反応を測定するために)，それに呼吸困難度の自己評価であった．

研究仮説の検証に加えて,研究者は,妥当性への脅威となる可能性を排除する分析をいくつか行った．

たとえば，歩行距離と呼吸困難度に順序がもたらす影響を検証することによって，ヒストリーの脅威を調べた(つまり，酸素をあとで吸入するより，先に吸入したことでアウトカムが変わるかどうか)．その結果，順序による影響は認められなかった．

また，学習効果を排除するための綿密な検証も行った．要約すると，従属変数がもっとも大きく変化したのは，実験テスト時においてではなく，３回の練習歩行時においてであった．

この研究では，自然減はなかった．両テストともに，同じ日になされ，すべての患者が入院中であった．

主要な研究設問に関しては，統計学的検定の結果,２つの条件の対象が,有意に異なる酸素飽和率を示したことがわかった．

しかし，他の従属変数についてはそうではなかった．圧縮空気と比較すると，酸素の場合の酸素飽和率が有意に高かった．

外生変数をコントロールするため，無作為化とクロスオーバー・デザインに加えて,研究者は，分析の精度を高め，潜在的な交互作用効果を検証するために，ブロック化ももちいた．

とくに，男性と女性のデータを別々に分析した．その結果，男性の場合，２つの条件のあいだで呼吸困難についての差は認められず，女性の場合，呼吸困難の得点は，酸素使用時のほうが圧縮空気使用時より有意に低かった．

費用とコレステロール値の低下が関連すると説明している研究を広域メディアが報道した直後に，高コレステロール値の人々への食事療法の介入の効果について評価したとする．

その介入を，数か月後に新しいグループの人々に行った場合，先の評価で観察された影響が再び得られたかどうかは，わからないだろう.

４．実験者効果：対象の行動が，研究者の特性によって影響を受けることがある．

研究調査者は，自分の仮説が正しいことを証明することに，情緒的にも知的にも全力を投入するため，その期待が無意識のうちに対象に伝わることがある．

その場合，その研究の結果が，より中立的な状況で繰り返されることはむずかしいだろう.

５．測定効果：大部分の研究においては，研究者は,事前テストの情報や背景のデータなど,かなりの量のデータを収集する．

その研究結果は，同じ方法でデータ収集を行わなかった（そして同じ方法で注意をはらわなかった）他のグループの人々には適用できないだろう．

外的妥当性を脅かす要因には、研究結果の一般化可能性を制限するさまざまな要素が存在する。外的妥当性とは、研究結果を他の標本や異なる環境に適用できるかどうかを示すものであり、その結果が広範な集団や状況において同じように観察されることが期待される場合に、特に重要である。一般に、外的妥当性は標本が母集団を代表する場合や、研究の設定が実際の環境を反映している場合に高められる。しかしながら、標本の特性や研究対象者の行動だけでなく、研究の実施環境や状況の様々な側面も、外的妥当性に大きな影響を及ぼすことが知られている。これにより、結果が特定の条件下でしか通用しない、あるいは他の状況に一般化できない場合が生じる。したがって、研究デザインの段階においても結果の解釈においても、外的妥当性に対する潜在的な脅威を考慮することが非常に重要である。外的妥当性への脅威としては、主に5つの要因が挙げられる。第一に「期待効果」がある。これは、対象者が自分が研究に参加していることを意識することで、通常とは異なる行動をとる可能性を指す。例えば、ホーソン効果と呼ばれるものが典型的であり、研究対象者が観察されていることを知っているために、自らの行動を変えることがある。このような行動の変化が特に研究の場面で引き出されたものである場合、その結果はより自然な環境には一般化できない可能性が高い。また、プラシーボ効果も期待効果の一種であり、対象者が見せかけの介入を受けたときに改善を示すことがある。たとえば、偽薬を処方された患者が症状が改善されたと感じる場合があり、これはプラシーボ効果と呼ばれるものである。しかしながら、同じプラシーボが研究環境で与えられない場合には、同じ効果が現れない可能性があることも指摘されている。また、プラシーボ効果の逆にあたるノセボ効果も存在し、これは偽薬を受けた対象者が副作用を経験するといった現象である。期待効果の脅威を軽減するためには、盲検法やダブルブラインドデザインが効果的とされるが、すべての研究においてこれが実施できるわけではないため、解釈には慎重さが求められる。第二に「新奇性効果」が挙げられる。これは、処理が新しい場合、対象者や研究者が通常とは異なる反応を示すことを指す。新しい方法や技術に対する関心や期待が高まり、それが結果に影響を与える可能性がある。人々は新しいものに対して夢中になることもあれば、逆に懐疑的になることもある。これにより、研究結果には、介入そのものの効果ではなく、この新奇性への反応が含まれる可能性がある。新奇性効果が発生すると、対象者がその処理に慣れるにつれて結果が変わることがあるため、長期的な介入の効果を評価する際には慎重な観察が必要である。第三の要因は「ヒストリーと処理の交互作用効果」である。これは、研究の期間中に発生した無関係な事象が、介入の効果に影響を与える可能性を指す。研究期間中に対象者が何らかの出来事や環境の変化にさらされた場合、その出来事の影響と介入効果が混ざり合い、結果が歪められることがある。たとえば、ある食事療法の効果を評価する研究中に、メディアがその療法の効果を取り上げた場合、対象者がその報道に影響されて行動を変えることがある。このような外部の影響を排除するためには、無作為化やコントロール群の設定が有効とされているが、全ての変数を制御することは難しい。第四の要因として「実験者効果」がある。実験者の期待や信念が無意識のうちに対象者に伝わり、結果に影響を与えることがある。研究者が仮説を支持する結果を期待することで、その期待が微妙な形で対象者に伝わり、結果が偏る可能性がある。これにより、その研究結果が中立的な状況で再現されることが難しくなるため、ダブルブラインド法の活用やプロトコルの厳密な遵守が求められる。最後に「測定効果」がある。多くの研究において、事前テストや調査によって大量のデータが収集されるが、これが外的妥当性を損なう要因となることがある。研究者が特定の情報を集中的に収集することで、対象者の行動や反応が変わる場合があるため、そのデータが他の方法で収集された場合や他の対象者に適用できるかが疑問視される。研究結果を他の環境や集団に一般化するには、これらの外的妥当性の脅威を考慮した設計が不可欠であり、妥当性の高いデータを得るために、外部の影響を排除しつつ、研究環境やサンプルが母集団を代表するような配慮が求められる。