無作為化なしで因果を探る!準実験と時系列デザイン【ChatGPT統計解析】
準実験(quasi-experiment)では独立変数の操作を行うが、無作為化が欠如しており、因果関係の確証は難しい。キャンベルとスタンリーの記号体系では観察を「0」、介入を「X」と表し、不等価コントロール群事前事後テストデザインが一般的に用いられる。例えば看護スタッフの士気に対する影響研究では、無作為化が困難なため比較病院を用いる。時系列デザインでは、長期間のデータ収集により変化が観察され、外生因子の影響を考慮する。さらに、時系列デザインと不等価コントロール群デザインの併用により、外部要因の影響を排除し、因果関係の推定が強固になる。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
準実験
準実験(quasi-experiment)では,真の実験と同じように,独立変数の操作,つまり介入を施す.
しかし,準実験デザインは,真の実験の特徴である処理群への無作為化が欠けている.
準実験デザイン
準実験は,介入と結果の因果関係を,実験ほど強力には確証できない.
その理由を示す前に,キャンベルとスタンリー〔Campbell & Stanley, 1963〕の古典的モノグラフに基づいた記号を,いくつか紹介しよう.
0は,観察(従属変数に関するデータの収集)をあらわす.
Xは,介入への曝露である.
これに従うと,実験群があり,それは,対象従業員の士気が,最初から異なっていたかもしれない.
キャンペルとスタンリー〔Campbell, & Stanley.1963〕は,「不等価コントロール群事後テストのみデザイン」を,その根本的な欠点ゆえに,準実験ではなく前実験(preexperimental)とよんでいる.
このように,準実験は,真の実験のコントロールという特性を欠いているが,準実験の顕著な特徴は,無作為化またはコントロール群のいずれかが欠如している場合に,それを補う方略を導入しようとする点にある.
不等価コントロール群事前事後テストデザインの例
ジョンソン,バズ,マッケイ,そしてミラー〔Johnson,Budz, Mackay, & Miller, 1999〕は,心疾患で入院している患者の喫煙状態および喫煙の自己効力感に対する,ナースが行う禁煙介入の効果を評価した.
実験の対象者は,ある循環器病棟に入院し,比較の対象者は,別の病棟に入院した.
同じ病棟内の患者間で情報が共有されると,処理条件が汚染されるおそれがあるので,病棟内の無作為化のために,上記の方法を選んだ.事前データを収集することで,人口学的な特徴および介入前の喫煙歴に関して,両群が類似していることがわかった,
不等価コントロール群デザイン
もっともよくもちいられる準実験デザインは,不等価コントロール群事前事後テストデザイン(nonequivalent control group pretest-posttest design)である.
このデザインは,実験処理と,実施の前後に観察する2群の対象を含む.
たとえば,大都市の大病院で,プライマリー・ナーシングを導入した場合の,看護スタッフの士気に与える影響を研究するとしよう.
新しい看護ケア提供システムを病院全体で実施するので,無作為化は不可能である.
そのため,プライマリー・ナーシングをもちいていない類似の特徴をもった病院のナースから,比較データを収集することにする.
システム変更の前に両方の病院でスタッフの士気についてのデータを収集し(事前テスト),
新システムを前者の病院で行ったのちに再びデータを収集する(事後テスト).
実験(プライマリー・ナーシング)病院があり,従来の看護を行っている病院がある.
時系列デザイン
今述べたデザインでは,コントロール群は使われているが,無作為化はされていない,
しかし,介入のある研究には,コントロール詳も無作為化もないものもある.
ある病院が,そこで働くすべてのナースに,昇進や昇給の条件として一定数の継続教育の単位を修得させることを決めたとしよう.
ナース管理者が,この方針の結果を退職率,欠勤率,昇進者数と昇給者数などをもとに評価したいとする.
この例の目的にとっては,この研究のための比較に適した病院がほかに1つもないと仮定しよう.
そのような場合に比較できる唯一のものは,前後の対比である.その方針が1月に開始されたとすれば,たとえば,その新しい規則が実施される前の3か月間と,実施後の3か月間の退職率を比較できる.
この1群事前事後テストデザイン(one-group pretest-posttest design)は簡明にみえるが,弱点がある.
前後の3か月間のいずれかが,新しい規則にかかわらず,いつもと違うとしたら,どうなるか同じ期間中に開始された他の規則の影響はどうか.地域経済の変化のように,雇用決定に影響する外生因子の影響はどうか.この前実験デザインは,これらの因子をコントロールできない。
この1群事前事後テストデザインを修正して,ナースの退職率の変化について,少なくともいくつかの他の説明を排除できよう.
このようなデザインの1つが時系列デザイン(time series design)であり〔中断時系列デザイン(interrupted time series deign)ともいう〕.
時系列デザインでは,情報は長期にわたって収集され,その間,介入が導入される.
01〜04は,実験処理前の従属変数についての,4つの独立したデータ収集を例示している.
Xは,実験処理を示し(独立変数の導入),05〜08は,4つの実験処理後の観察を示している.
今の例でいえば,01は,新しい継続教育の規則が開始される前年の1月から3月にかけての,病院を退職したナースの数,02は4月から6月の退職者数,以下,同様である.
規則の施行後も05〜08を観察し,連続して4回の3か月間,退職に関するデータを同じように収集する.
時系列デザインでさえも,退職率の変化の解釈と,後者の図式では,対象が処理群に無作為割り付けされていないこと以外,互いに同一であることを示している.
「実験群と比較群が研究着手段階で等しいということを前提としていない」ので,より欠陥が多い.
無作為化がなされていないので,この研究は,実験研究というよりも準実験研究である.
それにもかかわらず,このデザインは強固である.
なぜなら,事前テストによって,当初の両群の士気が似ているかどうかを判断できるからである.
比較群と実験群が事前テストの段階で類似していれば,自己報告された士気における事後テストの差は,新しい看護ケアシステムによる結果であると,比較的に確信できる.
しかし,当初の2群の士気がとても異なった場合は,統計学的方法の助けがあるにせよ,事後テストの差の解釈はむずかしくなるだろう.
実験処理群の結果を評価する際に,比較の対象となるグループを指して,準実験では,コントロール群という代わりに,ふつう,比較群(comparison group)という用語をもちいる.
事前テストのデータを収集できなかったと仮定しよう.
2群の看護スタッフの当初の均等性については,もはや情報がない.
事後テストで,実験病院のスタッフの士気が,コントロール病院のスタッフの士気よりも低い場合,新しいケア提供方法が,スタッフの士気の低下をもたらしたと結論できるだろうか.事後テストの差については,他の説明ができよう.
とくに,2つの病院のにおける問題をすべて排除できるわけではないが,長期間にわたるとらえ方が,変化を介入に関連づけることを可能にする.
1年間に48人のナースが病院を退職した場合,年間を通じて毎月4人ずつ等間隔に退職するなどとは,誰も期待しないだろう.
実験処理の前後に1回だけしか観察しない,
退職者数は04と05のあいだ,すなわち新しい継続教育の規則が導入された直後に増加している.
しかし,パターンBの退職者数は06で降下し,07でも降下し続けている.
05での増加は,他の時期の退職率における偶然の変動と,どうやら類似しているようである.
それゆえ,新しい規則が退職に影響したと結論づけるのは,おそらく誤りであろう.
他方,パターンAでの退職者数は05で増加し,その後の観察でも比較的高いままで推移している.
もちろん,毎年の退職率の変化については,別の説明もできよう.
しかし,2つの時点のみでの退職率の測定でみられるような,データが不安定な測定値を示す可能性を,時系列デザインであれば排除できる.
パターンAとBの結果は,これらの2時点でみると,同様に見える.しかし,より長期間でとらえた場合,結果の2つのパターンについて,異なる結論を導き出せる.
時系列デザインの例
ナームとボストン〔Nahm & Poston, 2000〕は,時系列デザインを使って,事例の要点を統合したコンピュータシステムが,ナースの記録の質に与える影響を評価した.
介入前に,記録の質を測定した.
そして,施行後6か月,12か月,18か月後に再び測定した.
研究者は,看護記録の質が高まり,図式での変動が減ったことを見いだした.
時系列デザインと不等価コントロール群デザインを組み合わせた場合,とくに強力な準実験デザインとなる.
時系列不等価コントロール群デザイン(time series nonequivalent control group design)は,継続教育の規則を導入した病院とその規則を課していない他の病院の両者から,長期間にわたってデータを収集することになろう.
類似した特性をもつ他の病院からの情報をこのように使用することで,その規則の効果に関して,より説得力のあるなんらかの推論を行えるだろう.
なぜなら,外生因子によって影響された傾向は,おそらく両部で観察されるだろうからである.
準実験(quasi-experiment)は真の実験のように独立変数を操作するものの、真の実験と異なり、無作為割り当てが行われないため、介入と結果の因果関係を完全に確証することは難しいとされる。無作為化の欠如は、特に因果推論において重要な問題であり、特に被験者の偏りや他の変数の影響を完全には排除できないことから、因果関係を推定する際の信頼性に影響を及ぼす。準実験は、キャンベルとスタンリー(Campbell & Stanley, 1963)による古典的なモノグラフにおいて、多くの研究デザインが紹介されており、それぞれに記号を用いることで簡潔に表現できるようになっている。この記号では、例えば「0」が観察(従属変数の測定)を表し、「X」が介入を意味する。これにより、研究者は被験者が介入を受けたタイミングや、どの時点でデータを収集したかを明確に表現できる。準実験の中でも特に多用されるデザインの一つに、不等価コントロール群事前事後テストデザイン(nonequivalent control group pretest-posttest design)がある。これは、実験群と比較群が異なる群であるため、無作為化による偏りの排除が不可能なデザインであるが、それでもデータ収集の際に事前テストと事後テストを行うことで、介入前後の変化を比較することができる。この方法では、例えば介入群と比較群の間で統計的な差がなかった場合、一定の因果関係を推定できる可能性が高くなる。例えば、大都市の大病院で新しい看護ケアのシステム(プライマリー・ナーシング)を導入する場合、無作為化は現実的ではないため、別の病院で同様のデータを収集し、比較を行うことでその効果を検証することが可能である。このとき、両方の病院での事前テストにより、両群が介入前に類似しているかどうかを確認し、事後テストで得られた変化が新しい看護ケアシステムによるものかを判断することができる。しかし、実際の準実験では無作為化がないため、時に統計的処理によって群間の差を解釈する際に課題が生じることがある。また、準実験のデザインには時系列デザイン(time series design)もあり、これは継続的なデータ収集によって、ある介入が与えられた後の変化を観察することを目的としている。例えば、ある病院が新しい方針を導入し、ナースの退職率を測定する場合、方針施行前後の数ヶ月間にわたりデータを収集し、変化が方針の影響によるものかを確認することができる。時系列デザインは長期的な観察が可能であるため、季節的要因やその他の外部要因の影響をより正確に取り除き、介入と結果の関係をより信頼性高く推定できる。このデザインには、複数の観察時点(例えば、方針導入前に4回のデータ収集、導入後に4回のデータ収集を行う)が設けられることが多く、各時点のデータから変化の傾向を把握できる。時系列デザインにおいても、介入の効果を正確に把握するためには、対象が処理群に無作為割り付けされない場合が多く、研究の信頼性に一定の制約がかかるが、事前データ収集を行うことで、事前後の変化の原因を特定する可能性が高まる。時系列デザインは、特に比較群を設定するのが難しい状況や、同じ施設内での無作為割り当てが困難なケースに有用である。このデザインの具体的な応用例としては、ナームとポストン(Nahm & Poston, 2000)によるナースの記録の質を向上させるためのコンピュータシステム導入研究が挙げられる。この研究では、システム導入前にデータを収集し、介入の6ヶ月後、12ヶ月後、18ヶ月後と観察を続けた結果、記録の質の向上と安定化が認められた。このように長期間にわたるデータ収集によって、介入の効果をより明確にすることができるため、時系列デザインは強力なデザインとされる。また、時系列デザインと不等価コントロール群デザインを組み合わせることで、特に強力な準実験デザインとなる。例えば、新しい方針を導入した病院と、同様の条件でその方針を導入していない病院でデータを長期にわたり比較すると、外部要因の影響を排除しやすくなり、因果関係の推定においてより強固な結果を得ることができる。準実験の最大の特徴の一つは、無作為化またはコントロール群が欠如している場合に、それを補う方策が組み込まれる点にある。たとえば、不等価コントロール群デザインでは、介入群と比較群が同一条件ではないため、事前データの収集によって両群の特性の差異を確認し、統計的にその差を補正することが求められる。さらに、他の準実験デザインとして、観察デザインがある。観察デザインでは、ある介入が自然に発生する状況で観察するが、無作為化や対照群の設定が難しいため、因果推論には統計的処理が求められる。たとえば、ある地域で新しい教育プログラムが自然に導入された場合、その地域と別の地域で学力や教育の成果に違いが生じるかを比較することで、介入の効果を評価できる。このデザインの欠点は、観察のみでは変数間の因果関係を確証することが難しいことであるが、データの長期的な変化や統計分析により、ある程度の信頼性を得ることができる。また、準実験には、自然実験(natural experiment)と呼ばれるデザインも含まれる。自然実験では、無作為化が困難な現実社会の状況を活用し、ある介入の影響を評価するもので、例えば災害後の地域住民の健康状態や、経済政策導入後の経済指標などが対象となる。このデザインは、現実の事象を利用して因果推論を行うため、外的妥当性が高いが、実験条件を制御できないため、内的妥当性には限界がある。それでも、自然実験は現実の介入や状況の影響を把握するうえで有用な手法とされ、特に社会科学や公共政策分野での研究において、幅広く応用されている。このように、準実験は無作為化が不可能な状況でも、様々なデザインを駆使することで因果関係の推定を試みる研究デザインであり、その多様性と柔軟性から広く利用されている。
関連記事