2008年2月23日 星期六

研究設計的內部效度問題

在研究方法中,與效度(validity)有關的地方除了測量方法與工具之外,在進行研究設計也要考慮到效度的問題。但這兩個地方所講的效度其實不太一樣。測量方法所關心的效度是我們有沒有測量到我們真正想要測量的對象?而研究設計所討論的效度有分兩種:內部效度(internal validity)是指經過我們的研究設計所看到的關係是否為真正的關係,還是有受到其他因素的影響所產生的假象?外部效度(external validity)則是指我們研究所得到的關係,有多大的應用性?若外部效度越大,則該結論可以被應用的範圍就越廣。其實效度所關切的,就是研究結果的正確、正當或確實的程度,而這個問題直接受到我們的研究設計與測量過程所影響。此處我們就討論的是研究設計面向的內部效度問題。

研究的目的是要去了解某個現象或問題中重要因素/變數之間的因果關係,假設我們觀察到兩個變數之間的關係,比如醫院實施某項新的管理措施之後,發現員工滿意度降低,但是我們怎麼知道就是該管理措施造成員工滿意度降低?事實上有許多可能的外部變數會影響員工滿意度,我們必須去避免這些外部變數對我們所要探討的因果關係造成混淆,把原本存在的因果關係模糊掉,或使我們對原來不存在的關係做出連結。這就是內部效度所關切的焦點,在進行研究設計時要想辦法去避免這些問題的發生,影響到研究結果的正確性。

有幾個重要因素會影響到內部效度,這些因素有時候被稱為對內部效度的威脅(threats to internal validity)或影響效果(effects),其實就是外部變數的一些重要類別。為便於瞭解起見,我們用一個簡單的例子與模式來描述我們關切的一個因果關係:
造成?
新管理措施(解釋變數)----------------------->員工滿意度下降(結果、應變數)

歷史因素(history)是指與解釋變數同時發生且足以導致同樣結果的所有外在事件,我覺得如果用環境因素可能比較容易理解。比如在該管理措施實施的同時,醫院剛好宣布今年的年終獎金將減少,因此導致員工滿意度受到影響,事實上該管理措施並非造成員工滿意度下降的原因。

選擇因素(selection) 是指進行比較的兩個群體之間原本就存在的差異,此差異對結果有決定性的影響。比如我們想要了解喝母乳的孩子是否比較不會感冒,於是去比較一組有喝母乳與另一組沒有喝母乳的新生兒的感冒頻率,後來發現兩組新生兒的感冒頻率沒有顯著差異,因而導出結論認為喝不喝母乳對新生兒的感冒頻率沒有影響,但可能事實上可以喝配方奶的新生兒家庭經濟狀況比較好,居家環境比較好,原本就比較不會感冒。如果用前面的關係例子來了解,或許是該管理措施對某些員工造成影響,因此這些員工都用填寫很負面的滿意度去表達情緒,但其他肯定該措施的員工卻未刻意去填寫調查表,因此造成取樣或選擇上的偏差。

成熟因素(maturation) 是指被研究者本身自然的一種變化傾向或過程,而對結果造成混淆。假如員工對工作滿意度的標準原本就是會逐漸增高,因此就算未實施該措施,滿意度也是會下降,使得該措施成為代罪羔羊。另一個例子是護理之家的照護,我們不會因為護理之家住民的身體狀況一天不如一天,就責怪護理之家同仁沒有用心照護住民,因為我們都知道絕大多數年長者的身心機能會自然退化,這成熟因素使然,不是照護人員的問題。

測試因素(testing) 是一種因前測作業所引起的心理作用,會對後測結果產生影響。這在問卷調查或由被研究者自行表達(self-report)意見或態度的研究中特別常見。比如研究者想瞭解停止喝母乳後的嬰兒感冒有沒有增加,因此選擇一群有意給嬰兒改為配方乳的媽媽,研究人員先去詢問原來嬰兒喝母乳時的感冒頻率,但是這個詢問動作引起這些媽媽們的某種心理作用,因此比之前更加注意嬰兒的健康狀況,因而對結果有所扭曲。

工具因素(instrumentation) 是指因為測量工具的改變所反應的改變,不是由於解釋變數所引起的。比如管理措施實施後所進行的員工滿意度調查問卷與前一次所用的問卷內容不同,造成對結果的影響。

耗損因素(mortality) 是指在研究進行的過程中,有時候參與研究的人員會改變或退出,造成每一次所觀察的對象與比較基準的改變,有時候這些改變足以對結果產生關鍵性的影響,特別當有特定取向的因素造成他們的退出。比如某醫院為了方便長期追蹤當地民眾對醫院的滿意度,隨機抽出一群民眾,徵得其同意做長期追蹤電訪。但是對該院觀感較差的參與者逐漸退出,留下的大多是對該院有良好印象或評價的民眾。因此當該院認為自己的民眾滿意度愈來愈高時,其實是一種偏差,並非真象。

回歸平均值因素(regression toward the mean) 可以理解為極端或不尋常狀況所造成的混淆。比如我們想了解某種藥對控制血壓是否有效,在病人服藥前測一次血壓,服藥後再量一次。可是沒料到病人服藥前的血壓異常偏低(根據統計上的機率分布,這種情況是會發生的,只是機率很低,但是剛好就碰到了),因此無法正確比較出服藥真正的作用。這個因素告訴我們,人事物的狀況都不是絕對穩定的,有自然的高低起伏,我們在做比較時,必須注意這些不確定性。

互動因素(interaction) 是指以上的這些因素交疊在一起,所產生錯綜複雜的影響。

某些內部效度威脅對某些研究設計會產生較嚴重的影響;然而所謂一物克一物,這些威脅也必須要透過良好的研究設計去加以克服。瞭解這些影響內部效度的威脅因素不僅對從事研究很重要,對我們處理日常生活的問題或觀察社會動態也都有幫助。有時候我們自己或媒體很容易將兩個表面上呈現的現象加以聯想,認定為因果關係,但其實該問題或現象有可能是由其它因素所引起的,這是犯了穿鑿附會的謬誤。良好的探究問題態度是盡可能做到排除其他可能的外部影響因素,客觀地找出問題的主要原因。

沒有留言: