調查研究有ㄧ些過去被廣泛遵循或接受的看法與做法，比如認為調查回覆率越高越好、前測所用的方法、制式化的訪談進行方式、封閉式回答選項、以及社會讚許的反應偏誤(social desirability response bias)對調查影響程度等。後來由於調查方法的實證研究發現這些看法或做法本身也有ㄧ些限制或迷思存在，使得學者開始對這些傳統的看法或做法做必要的修正，並導致調查研究在新的世紀產生新的方向與趨勢。這禮拜讀到的一篇文章[1]，就討論到幾個以往調查研究的迷思，並指出新的努力方向。
第一個迷思，是研究人員一般認為調查回覆率越高越好，因為在隨機抽樣的前提下，調查回覆率(如問卷回收率)越高，所得到的樣本也越有代表性，因此所得到的結果也更為準確。不過有研究發現回覆率與結果的準確性並沒有絕對的正相關，回覆率高不保證就較準確，而回覆率低也不一定就不準確。有一個實例是在預測15年來俄亥俄州的選舉結果，出乎意料之外的是通常回收率僅有20%的郵寄問卷所預測的結果反而比回覆率高達60%的電話訪問來得準確。其中主要的原因是通常不願意填寫選前調查問卷或拒絕受訪的人真正去投票的可能性較低，因此刻意將回覆率提高反而是將這些不太可能去投票的人拉進來，使得所得到的樣本的代表性降低，而無法準確反應真正會去投票的這一群人的意向，使得所得到的預測與選舉的結果產生明顯的差距。
第二個是有關於前測(pretest)的方法。以往當調查工具(如問卷)草稿設計好之後，多半會先請與調查對象有關的15-25人先試填或受訪，再請這些受訪或填寫問卷的人報告或反應他們在受訪或填寫問卷中所遇到的問題或經驗，根據這些意見去對問卷內容進行必要的修正，然後再正式實施調查。這種前測方式的問題由於方法比較鬆散，所得到的資訊也比較散漫，不一定對問卷的改善有幫助，而且所收集到的意見也比較停留在表面，無法真正獲知當受訪者或試填者在看到這些調查內容或問題時心中所想到的景象是什麼。近年來有其它前測的新方式陸續被提出，其中一種稱為行為紀錄(behavior coding)，這是去觀察訪問者或受訪者在調查進行的互動中是否有出現預期以外的行為舉止或情況，比如訪問者是否有未照所設計的問題詞句去進行訪問？是否需要特別去探詢受訪者的地方？以及受訪者在過程中是否有詢問任何的問題？照理說如果一份調查問題設計得很好，這些情況應該都不會出現，所以這些異常可能就可以反應出調查工具設計不良的地方。另外一種越來越普遍的方式是認知訪談(cognitive interviewing)，這是用事先規劃好的步驟，比較深入去從前測的首訪者口中取得對調查問題內容的看法，以及他們在了解與回答這些問題時的認知反應。透過這種方式可以收集到對調查問題與設計的改良比較深入且有直接幫助的意見。
第三，過去調查進行時有一個原則是必須確保每一位受訪者被問的問題與方式都完全一樣，這是為了避免因為訪問者的進行方式的差異，對結果造成額外的影響。在此原則下，對於調查實施的方式與過程都會嚴格要求一致化，而且不希望訪問者在問題本身以外多講任何的話或提供額外的訊息給受訪者，以免造成不同的受訪者得到不同的問題內容，因此訪問者都被訓練出制式的訪問操作方式。比如當受訪者對問題有疑問或不確定而請問訪問者時，通常訪問者都會簡單回答：「你想的是怎樣，問題的意思就是那樣。」最近有研究人員開始在質疑這種方式，指出如果受訪者不是真正了解問題的含意，他們只能隨便回答，而造成測量錯誤。研究也發現，當訪問者能夠針對受訪者的問題給予澄清，幫助其瞭解問題的意思時，調查回答的效度會提高。現在有越來越多的調查為了減少人為的因素影響，而透過電腦協助進行，若從這樣的角度看，用電腦取代訪問者其實會帶來ㄧ些負面的影響，因為電腦實施訪問的方式是機械性的，無法對個別受訪者所遇到的問題給予正確且必要的澄清。
第四點是有關封閉式問題與開放式問題的優劣，前者是只請受訪者就調查中所提供的選項去回答問題；後者則是開放給受訪者用自己的話回答。雖然這兩種調查方式各有擁護群，但過去幾十年來封閉式的調查設計是主流，開放式調查越來越不普遍。不過有研究發現封閉式調查有一些明顯的缺點，比如受訪者有時候會放棄自己真正的想法，而去牽就問卷中所提供的回答選項，造成偏差的結果。如果封閉式問題的回答選項能夠涵蓋所有受訪者可能提供的回答，最理想的，不過這很難做到或確保。還有，封閉式問題必須設計回答選項給受訪者勾選，很多研究已經證實，不光是選項的內容，連選項的設計(例如標示數字、文字與否，所使用的尺度等等)本身都會對受訪者的回答造成研究人員沒有預料到的影響。
此外，以往認為開放式調查的缺點(比如擔心受訪者在開放式問題中僅就當時想到的，而不是自己最核心的看法去回答；或者有些人不擅於表達自己的想法，開放式調查會使得他們有困難回答問題)則被發現沒有一般想像的那麼嚴重。而且，有研究發現有些問題使用開放式調查比封閉式調查更能獲得準確的結果。老師說開放式問題與封閉式問題各有利弊，要看我們調查的問題、對象、目的、資料分析方式而定。如果是問題本身比較複雜(比如族群背景)，為了初步或廣泛探索別人對某個問題的想法，而且是用質性的分析方式，那開放式問題可能比較理想。如果問題本身很具體(例如：有沒有去投票)，目的是要做假設檢定或尋找不同因素的關連性，且是使用計量分析的情況，那封閉式問題會比較好用。
第五個迷思是以前學界認為「社會讚許的反應偏誤」(social desirability bias, SDB)是影響很多調查準確性的一個重要因素。SDB是指受訪者在回答問題時，會朝向他們所認為較受到社會認可或讚許的方向去回答，即使這與他們內心的想法並不一樣。比如當我被問到政府應不應該擴大救濟範圍，雖然我真正的想法是不應該，可是由於我為了不想讓訪問者覺得我沒有關心別人的美德，而回答應該擴大救濟。此外，很多研究都發現在ㄧ些行為的調查所得到的結果與實際的情形有很大的落差，比如通常投票或擔任志工的調查所得到的結果都比實際的情況來得高，以往都認為這是受到SDB的影響，也就是當受訪者被問到是否有去投票或在社區擔任志工，有些受訪者可能會認為投票或擔任志工是社會所讚許的行為，因此雖然自己並沒有做，卻回答有，造成調查的高估。
最近的研究指出SDB的影響可能沒有以往所認為的那麼大或直接，或者說其實這些現象背後還有其他的因素影響，SDB並不是主因。研究人員發現當在投票行為調查中讓訪問者對受訪者強調投不投票並沒有好壞，以降低SDB，但對調查結果的正確性並沒有改善。經過近一步的對照，研究人員還發現回答某次選舉有去投票，但事實上並沒有去投票的這些人，過去大多確實有很頻繁的投票紀錄與習慣，因此研究人員認為他們回答的偏差並不是由於SDB，而是臨時性的回想錯誤，也就是他們將之前的投票的記憶用在最近一次的選舉，由於以前他們都有去投票，使得他們記成這次選舉中也有去投票，雖然事實上沒有。當研究人員請受訪者在回答問題前再仔細多想一下時(提高回想的正確性)，發現這些錯誤便可以大幅減少。
最後，以往調查研究人員大多假設問卷設計好，去問受訪者時，受訪者就會很努力與用心，盡最大的能力去回想與回答，目前這個假設有很多問題已經受到很多的挑戰，研究發現受訪在許多情況下並不是用最大的心力去回答問題(optimizing)，而是想辦法應付了事(satisficing)。有三種情況特別會鼓勵受訪者採取應付了事的方式去回答問題：(1)當回答問題的難度很高時；(2)當受訪者認知問題的能力不足時；(3)當受訪者缺乏回答問題的動機時。在這些情況下，受訪者很可能在問題的理解、想法的擷取、判斷與回答這四個步驟上面都草率帶過，甚至直接跳過擷取與判斷這兩個步驟，在理解問題之後隨便選擇一個選項去回答，用抄捷徑的方式去達成回答問題的任務，草草交差了事。
用satisficing的觀念，研究人員可以解釋不少調查研究中的現象與問題，像前述的封閉式問題設計，就提供受訪者走捷徑回答問題的機會；臨時性的回想錯誤，也是satisficing的一個結果；受訪者若對問題有困惑而無法得到即時的澄清，也會導致他們採取satisficing的方式去回答調查。
因此，如果我們想要從調查中得到比較準確的答案，必須設法降低受訪者的satisficing的取向，在問卷的設計上務必做到使受訪者認知能力有辦法清楚了解與回答問題，內容對受訪者來說不能太難或太簡單，並且想辦法提高受訪者回答問題的動機與意願。由此看來，要設計一份理想的問卷，實在是一門相當具有挑戰性的藝術與科學。
[1] Krosnick, J.A. 1999. Survey Research. Annual Review of Psychology, 50: 537-567.
沒有留言:
張貼留言