調查研究的誤差(Survey Error)

在進行調查研究時不能不知道調查研究有哪些潛在的誤差，雖然沒有任何一份調查研究是完全沒有誤差的，但是一份好的調查研究必須設法克服導致誤差出現的因素，盡可能降低其誤差，以提高其準確度。此外，瞭解調查研究有哪些誤差也可以幫助我們在解讀一份調查研究的結果時，做出比較中肯的判斷與結論；也可以讓我們知道一份調查研究結果的限制所在，避免被結果誤導。

調查可以分兩類，一類是普查(census)，另一類是抽樣調查，前者是指針對研究的所有對象(又稱母群體，population)直接做調查，即母群體中的每一分子都被納入調查的對象；後者是從母群體中抽出一部分的對象(也稱為樣本，sample)來進行調查，希望從有限的樣本來了解母群體的真正情況。比如我們想要了解醫院所有病人對醫院服務的滿意度，如果我們對每一位病人都做調查，便是普查；如果我們只抽某一天的病人來進行調查，便是抽樣調查。

照理說普查是比抽樣調查來得理想，因為這樣我們可以直接去瞭解母群體的情況，不需要藉由樣本來推論母群體(其中隱藏抽樣誤差的風險)。不過，普查的成本高、且費事費時，有時候甚至是不可行的，因此勢必藉由抽樣調查。其實，若從調查誤差的角度來看，普查不見得一定比抽樣調查來得好，普查本身也有誤差存在，有些研究人員發現，由於普查必須花費大量的時間與精力去執行，有時反而無法面面俱到，照顧到基本的調查品質，因此如果將大部分的資源省下來，好好去設計問卷與規劃抽樣調查與執行，藉由抽樣調查所得到的結果反而比普查還來得正確。

調查誤差是由四種主要的誤差所構成的：(1)涵蓋誤差(coverage error)、(2)抽樣誤差(sampling error)、(3)無回覆誤差(non-response error)、(4)測量誤差(measurement error)。

涵蓋誤差(coverage error)

當我們要進行抽樣調查時，手上必須有一份涵蓋母群體中所有個體的名單或籤牌(sampling frame)，然後才能從中抽出ㄧ些個體來組成樣本。比如要用電話訪問調查某家醫院的病人滿意度，我們必須有一份這家醫院所有病人的電話號碼表，才能抽出一定數量的病人電話號碼，來進行電訪。可是如果其中有些病人沒有電話，那麼使用電訪的方式便會發生「涵蓋誤差」，也就是我們所用的母群體名單並未涵蓋母群體中所有的個體。

涵蓋誤差在調查研究中經常存在，即使是普查，也可能有漏網之魚。在抽樣調查中，研究人員所使用的調查工具經常無法涵蓋母群體的每一個體。近年來由於網路的發達與普遍，網路線上調查有愈來愈多的趨勢，可是並不是每一個人都能夠上網，這些人變成了網路調查的「死角」與涵蓋誤差的來源。不過理論上如果沒有被涵蓋到的這一群個體與母群體中的其他個體的特徵或組成沒有差別的話，即使有調查死角，涵蓋誤差就不存在。可是當被涵蓋與未被涵蓋的個體有顯著的差別時，就會造成涵蓋誤差。

這禮拜遠見雜誌公布一份在今年三月中旬所進行的馬總統施政滿意度調查結果[1]，這份調查是在3月15日至17日晚上6點20分至10點進行，以隨機跳號抽樣及電腦輔助電話訪問方式，成功完訪1005位台灣地區20歲以上的民眾。用隨機跳號抽樣的電話訪問在國內外都很普遍，主要好處是容易進行且涵蓋面相當廣。不過，隨著手機的普及，美國已經有愈來愈多的民眾只用手機，而不再使用家中線路電話；然而，全國的手機電話號碼隨機撥號的機制尚未發展出來，因此這些人便沒有機會被涵蓋到樣本裡面，研究發現這一群只用手機的族群比較年輕，傾向居無定所，與其他民眾有明顯的不同，因此使用這種方式的抽樣調查有愈來愈嚴重的涵蓋誤差。

此外，使用隨機跳號抽樣的電話訪問主要訪問的對象是家戶，並非每位民眾，而每戶住家中的人口組成也有差異，或者家中的電話傾向由男主人或女主人、由年長者或年輕人接聽，這當中的差距也可能造成涵蓋誤差。還有，利用晚上電訪的好處是大部分的人可能都已回到家，但是，上夜班或尚在通勤中的民眾便成了漏網之魚。

抽樣誤差(sampling error)

抽樣誤差是指當我們是透過樣本去瞭解母群體時，所必然出現的誤差。如果我們是進行普查，則可以避免這項誤差。由於樣本只是母群體的一部分，當我們要用這部分的個體去描述整個母群體的某些特徵時，必然會有失真，因此我們不敢根據一份或有限數量的樣本就斬釘截鐵地說由樣本所得到的結果絕對跟母群體的情況完全一樣。不過如果我們所使用的樣本相當有代表性的話，則失真的程度可以控制到一定的範圍，通常，當我們是用隨機抽樣的方式去抽取樣本中的個體，並且所用的樣本中的個體數越大時，樣本能夠代表母群體的程度就越大。

統計學對抽樣誤差的探討與計算有直接的貢獻，我們可以根據統計學原理，估算出一個給我們一定程度信心的結果區間值。比如這次遠見雜誌的民意調查指出所得到的結果在95%信賴水準時的抽樣誤差理論值為±3.1%，而結果指出馬總統的施政滿意度是28.6%，較完整的陳述應該是：如果我們用同樣的方法進行100次的隨機抽樣調查，大約有95次的結果會落在28.6%±3.1%之間(也就是25.5%與31.7%之間)[2]。[25.5%,31.7%]便是這次調查所得到的95%信賴水準區間值。

這裡必須要提到一點，統計學對抽樣誤差的估算是建立在機率抽樣上面，對非機率抽樣則是幫不上忙的。機率抽樣(probability sampling)的意思是母群體中的每一個體都有某種已知的機會或機率被選進樣本中，我們才能用這些機率來估算誤差的範圍。如果我們沒有這些機率的訊息，就無法去估計抽樣誤差程度。如果我們為方便起見，去找某一家公司的員工進行對馬總統的施政滿意度調查，我們完全不知道這一群樣本與母群體(國內20歲以上的民眾)之間有甚麼機率的關係，因此無法提供我們有關抽樣誤差的程度。

無回覆誤差(non-response error)
假如我們有一份涵蓋母群體中所有個體的名單，從中抽出具有能夠代表母群體的樣本，並對樣本中的個體進行調查，可是在實際的狀況中，經常是樣本中的一部分對象願意接受調查或回填問卷，另一部分的對象不願回覆，因此我們所收到的實際調查回覆數並不齊全，與樣本數有落差。在這種情況下，如果未回覆的對象與樣本中其他對象有不同的特徵或組成，便會導致無回覆誤差。

一般來說，調查的回覆率是越高越好，因為可以提高回收資料對母群體的代表性，降低無回覆誤差。不過，這也不是絕對的，有些研究發現，有時候若是硬要將回覆率拉高，卻造成回覆樣本的某種扭曲或偏差，可能適得其反。此處的關鍵點在於回覆樣本必須對母群體有高程度的代表性，不論是無回覆與高回覆率，若導致最終樣本的代表性流失，都是問題。

測量誤差(measurement error)
測量誤差是所有研究都會遇到的問題，不只是調查才有的。在調查研究中，測量誤差與有否抽樣無關，不僅抽樣調查有測量誤差，普查也同樣有測量誤差。測量誤差是指調查的回覆者所提供的回答錯誤或不準確所造成的誤差。測量誤差有可能是故意或非故意的，比如病人在住院期間填寫醫院服務的滿意度調查時，擔心負面的意見會被醫療人員知道，因此故意只提供正面的評價。有時候問卷的填寫人或調查的受訪者不了解問題的意思，於是隨便找個答案回答，或者對問題理解錯誤，而填入錯誤的答案。這些都是屬於調查的測量錯誤。一個經過良好設計的調查或問卷，以及妥善的執行方法與過程，可以減少測量錯誤的程度，但是沒有辦法完全避免。如果測量錯誤的發生是隨機的，問題比較小，我們所得到的估算值仍然有一定的準確度；如果測量錯誤的發生是有某種特定的形態或方向的，則對估算值會產生偏差。

調查誤差的處理
一份調查研究的整體誤差，是由上述這四類的誤差所累計起來的。調查研究學者與統計學家針對每一種誤差都設法發展能夠降低或評估誤差的方式。通常完善的調查設計與規劃有助於降低誤差的程度，而統計模式則可以幫助研究人員瞭解誤差的程度。

前三種誤差還可以透過加權處理(weighting)的技術稍予以較正，由於前三種調查誤差(涵蓋誤差、抽樣誤差與無回覆誤差)其實都是關於取樣的代表性問題，而加權處理就是某種程度上，根據我們所用的取樣名單、所得到樣本以及最終回收的樣本，其中每一分子從母群體中被選擇到的機率，去還原其對母群體的代表性。基本上最終回收的樣本中，有可能每一個體到達此最後階段樣本的機率都不一樣。假設有一個體A從母群體進入此最後階段的樣本的機率是0.002，另一個體B的機率是0.004，這時的加權處理是給個體A放大500 (=1/0.002)倍，給個體B放大250 (=1/0.004)倍，也就是用個體A代表母群體中與其類似的500個個體，並用個體B代表母群體中與其類似的250個個體。透過加權處理，我們建立了一份模擬的母群體，用此來估算母群體的特徵值。

但是要進行加權處理前，研究人員必須對取樣的各個階段的每一類個體被選擇到的機率有所掌握，才能夠計算每一個樣本個體的加權值。

四種調查誤差的關係

我覺得這四類調查誤差的關係可以用上面的圖形來了解。首先，我們有一群想探討的母群體對象(target population)，但是很可能我們並沒有一份涵蓋這群對象的所有個體的名單，而只有其中一部分的個體名單可讓我們做為取樣的對象(sampling frame)，target population與sampling frame之間的差距(藍色環帶)便是潛在的涵蓋誤差所在。第二，當我們從這份母群體名單中選出一部分的個體來組成樣本(selected sample)，並藉由樣本去描述名單中的母群體的某個特徵時，這當中的差距便有抽樣誤差存在(黃色環帶)。第三，由於完成調查的樣本(completed sample)或回覆者(respondents)與我們所選擇的樣本並不完全一樣，經常是指有一部分的樣本中個體完成調查，沒有完成調查的個體(綠色環帶)便是無回覆誤差的來源。最後，回覆者在提供調查的訊息時，多多少少會有不準確或錯誤的情況，這便會形成測量誤差(粉紅色部分)。

這四種調查誤差提供我們一個對學習調查研究方法很有幫助的架構，因為調查研究若要得到準確的結果，不外乎要設法減少這些誤差。對這些誤差的概念有所掌握之後，讓我知道各種有關調查研究的議題，主要是在探討或處理哪一種誤差。透過這個架構，我們可以將調查研究的各個面向整合起來。

[1] 遠見民調／馬英九滿意度降至28.6%　不滿意度攀升至58.3%
更新日期：2009/03/19 22:36
根據遠見雜誌所發布的最新民調顯示，民眾對馬英九總統執政10個月的整體表現，有28.6%滿意、58.3%不滿意，滿意度較上個月下降5.9個百分點，不滿意的比率則上升3.5個百分點，可能是受到經濟負成長、失業率攀升，以及消費券的短期效應褪去，使得民眾對馬英九明顯不滿。

至於另一項民眾對馬英九總統的信任度調查結果，有45.0%的民眾表示信任，40.2%表示不信任，與上個月相較，對馬總統信任的比率下降3.7個百分點，不信任的比率則是上升3.7個百分點，顯示多數民眾對馬總統執政的整體評價，維持在傾向信任但明顯不滿的狀況。

遠見民調中心主任戴立安分析，民眾對馬總統的滿意度與信任度幾乎皆回到今年1月的數值，研判主要是因為消費券的短期效果盡褪所致，再加上行政院主計處2月公布的各項指標，包括今年經濟成長率為-2.97%，失業率攀升，以及出口持續負成長等，也使民眾對馬總統執政的滿意度、信任度，回復至去（97）年11月至今年1月之間的穩定評價區間。

這項調查是由遠見雜誌民意調查中心在3月15日至17日晚上6點20分至10點進行，以隨機跳號抽樣及電腦輔助電話訪問方式，成功完訪1005位台灣地區20歲以上的民眾，在95%信賴水準時的抽樣誤差理論值為±3.1%。調查結果已對受訪者性別、居住地、年齡、教育程度等項進行樣本代表性檢定，並進行加權處理。

[2] 剛好TVBS也在同一期間進行另一份20歲以上民眾的電話訪調，所得到的對馬總統的施政滿意度是29%。http://tw.news.yahoo.com/article/url/d/a/090321/8/1gg0a.html。這兩份調查所得到的結果相當接近，也印證統計學的理論有可信之處。