2008年6月12日 星期四

從研究方法看商業週刊「百大良醫」的評選

最近一位朋友轉寄商業週刊所報導的「超推薦百大良醫」文章來給我[1],對於商周首開先例的嘗試,我覺得應該要給予肯定,特別是這項計畫是因為商周王文靜總編輯在父親中風病危時不知所措、而有「誰認識最好的腦中風醫生?即便傾家蕩產,我願換得父親的生命。」的感嘆與動機而起,更顯出此項工作的重要性與迫切性。如果這樣的計畫能夠讓真正的「良醫」廣為人知,不僅可以給病家很有用的參考價值,對於醫界也會產生良性的典範作用。

只是,不可諱言,這份計畫有一些美中不足的地方,比如沒有地區醫院醫師與開業醫師被推薦[2],且只侷限在少數幾個科別[3];此外也有其他醫師從專業的角度(或內幕)看推薦名單中的部分「良醫」,而對其公信力有所質疑[4]。我既非醫療臨床人員,對於推薦榜上的醫師名單也完全沒有接觸,無法做任何評論。不過我覺得倒是可以試著從研究方法的角度來分析商周這份調查,看未來有沒有可以加強的地方。

基本上來講,一份好的研究或調查,最重要的是要有「一致性」和前後連貫性(consistence),包括從研究/調查的目的、清楚的中心問題、主要研究概念的定義、研究母體與樣本的範圍、到資料收集方法,都要緊密環環相扣,這樣比較能夠確保研究/調查的結果與目的互相吻合,並能夠正確回答所關切的中心問題。整體來說,我覺得這項調查的連貫性有落差,特別是在研究/調查目的與主要概念之間,以及主要概念與資料收集方法之間。我主要的疑惑,是這份調查與推薦的是「良醫」、「名醫」、還是「明醫」(醫術高明的醫師)?推薦的依據,是醫師的醫術、醫德、名氣、醫病關係、還是同儕的人緣或專業人際網絡?

我們或許可以透過以下的幾個問題一一來分析這些問題:

1.這份研究/調查的根本目的與中心問題是甚麼?

很可惜的是我從該系列報導首頁的說明看不到商周對這份調查的目的提出很清楚的敘述。雖然有提到「《商業周刊》團隊花了六個月,試圖畫出一份台灣好醫師地圖。」,可是這個好醫師地圖是要做甚麼用,並不是很清楚。此外,商周也提到一句話,似乎是希望讓「擁有卓越的醫術(的醫師)!獲得醫界專家優先推薦求診。」到底哪一個才是真正或主要的目的?如果從王文靜總編及以下的這段話,或許可以看出一些端倪:「去年父親發出病危通知後,我近乎歇斯底里。父親逐漸陷入昏迷,我卻無力判斷,是否該將他由區域醫院轉到大醫院?時間分秒流失,死神虎視眈眈,我貪婪、卑微的想結識台灣最好的醫師。」從這樣的情境來看,這份調查的主要應該是希望找出台灣在醫院中診療重症且醫術高明的醫師。如果這樣的理解沒錯的話,那我就比較可以瞭解為什麼這份調查只是侷限在區域醫院與醫學中心11種專科的主治醫師(小兒科、心臟內科、心臟外科、肝膽腸胃科、神經內科、神經外科、胸腔內/外科、婦產科、腎臟科、新陳代謝內分泌科、腫瘤科);而且是採用由醫師推薦醫師的方式來評選。

2.主要研究概念是甚麼?與目的/中心問題有密切相關嗎?

從其標題上面可以清楚看到,商周這次調查的主題或主要概念是「良醫」,不過商周在說明文章中從頭到尾所用的名詞是「好醫師」。可是事實上他們是想推薦在區域醫院及醫學中心服務的醫術高明的醫師,因此這裡就產生一個問題,「醫術高明的醫師」等同於「良醫」或「好醫師」嗎?商周在報導中也提到了「好醫師」的標準與如何界定的問題。文章中提到五點「好醫師」的特質,但是這五點特質與調查又好像沒有關連,因為我看不到商周是否有將這五項特質實際用到調查或推薦過程:

一、 擁有正確價值觀
二、 良好的溝通技巧
三、 與時俱進的技術
四、 清楚醫學和自己的限度
五、 團隊作戰力

此外,這五個條件似乎是分別從幾位受訪醫師的想法所整理出來的,這樣的條件是否能夠詳實地代表好醫師或良醫,也是一個問題。少數幾位醫師的觀點能否涵蓋好醫師的全貌?是否需要加入病人或家屬的觀點?都有討論的必要。這些暫且不論,如果是用這五點來評選好醫師或良醫,那可能需要再給予這五點原則的內涵更明確的描述,比如「擁有正確價值觀」是指不收紅包、視病猶親、看重生命等等。然後在寄給推薦人的推薦表上最好列出這些條件,這樣推薦出來的名單應該會更接近商周所要找的好醫師。不過,根本的問題是這份調查到底是要找好醫師,還是醫術高明的醫師?如果是要找醫術高明的醫師,那所用的推薦/評選條件就又不一樣了。

3.調查的母體與樣本是誰?與研究的目地是否相符?

在報導文章中有提到「《商業周刊》試圖畫出一份台灣好醫師地圖」。乍看之下遴選對象的母體(population)好像是全台灣的醫師,不過讀者要讀到一半才會發現被推薦的醫師是有門檻的:也就是這次醫師的遴選對象只有在調查的十一個科別中,且服務於區域醫院與醫學中心的主治醫師(但不包括擔任院長的醫師)。此外,我覺得商周並沒有真正說明設定這個遴選範圍的理由,也就是說:如果是要找好醫師的話,為什麼要限定在區域醫院與醫院中心裡服務的這11科的醫師?由於這個不一致性與不明確,使得這項調查受到一些批評,其實如果在一開始就交代或界定清楚這項調查主要是希望找出台灣在醫院中診療重症且醫術高明的醫師,這樣的批評應該是可以避免掉的。

4.資料收集方法的信度與效度如何?有沒有偏差?是否收集到正確的資料?

這項調查參考美國醫療調查專業機構Castle Connolly Medical出版的《America's Top Doctors》,以及日本講談社出版的《名醫推薦的名醫與醫院》,並參酌國內多位學者專家意見後,決定採取「專家推薦專家」的調查方式。所根據的論點是:「如果,有位醫師能得到他醫界同儕的高度推薦,那他必然是個極度受到肯定的好醫師。」商周於是「透過三重管道(1.院長推薦; 2.醫學會理監事推薦; 3.針對本次調查90家醫院的11科主治醫師級以上醫師,隨機抽樣發送邀請函,邀請其上網填寫問卷。)請全台灣區域醫院以上的院長與醫師們告訴我們:『若您親友罹患相關疾病,您會願意優先推薦親友求診的醫師是哪幾位?』」這裡面可能有幾個問題:

首先,這樣的推薦方式適合用來遴選「良醫」嗎?如果「良醫」是指醫術高明或名聲響亮的醫師,或許還可以。從文中所提到美、日這兩個機構所評選的分別是”Top Doctors”(強調醫術的高明)與「名醫」(強調名聲響亮)來看,由專家推薦專家的方式不失為一種可用的管道。不過商周想要尋找的好醫師或良醫,又好像不只是如此,至少從所提到的五點好醫師特質來看,醫術的條件只佔其中一項,名聲則是不被包括在這五點條件之內。這是測量的效度(validity)問題。

第二,測量信度(reliability)的問題:商周透過三重管道,廣發推薦函請醫界推薦好醫師的立意很好,可是這要考慮到問卷/調查表/推薦表所得到的資訊是否都指向同一件事。首先,這三重的推薦管道以及所有的推薦參與醫師是否都使用相同的推薦或遴選標準/依據?報導文章中提到中山醫學大學附設醫院為此成立專案小組,由各專科部主任與護理部主管組成評審團,互評後才得出推薦名單;馬偕醫院則是核對病人寫給醫師的感謝函,期望透過病人滿意度調查,以提供該院最符合病人需要的好醫師名單。從這兩個例子來看,這次調查的信度是有問題的,因為每個推薦單位與醫師所用的推薦方法與標準並沒有一致性,儘管他們是多麼慎重其事。在缺乏整體一致且明確的推薦/遴選標準的情況下,所得到的結果的準確性就成為一大問題。有可能推薦的對象偏離「好醫師」,而變成推薦知名度高、學術聲望高、人緣佳或自己熟識的醫師。由於這次調查所採用的是開放型的問卷,推薦者可以天馬行空地依照自己的想法去推薦,因此這個問題會更為突顯。此外,這三重的推薦管道所採取的資料收集方式並不一樣,這也會影響所收集到資料的質與量的不一致情況。

第三,內部效度的問題(internal validity):報導文章中提到這次調查在院長推薦方面,出乎意料之外地得到92%的回收率,不過在醫學會理監事推薦與專科醫師網路推薦方面的回收率則沒有說明。我從相關的敘述中所整理得到的資料發現:這次調查的資料來源並不平均,最主要的資料是來自院長推薦的名單(佔61%),專科醫學會理監事的推薦人選居次(23%),為數最眾多的專科醫師所提供的人選僅佔16%。此外,平均每位院長推薦41人次的醫師,專科醫學會每位理監事則平均推薦5.8人次。若再加上醫學中心院長全部回填問卷,那我對為什麼這次百大良醫上榜名單絕大多數都是醫學中心的醫師(約佔85%)這個現象便不感到意外(其中臺大醫院與台北榮總更包辦了53%),因為某種程度上這是因為資料收集比重不一所導致的偏差。報導也提到在專科醫師網路推薦方面,參與醫師以北部居多,占48.2%。中部、南部、東部則分別占 18.3%、25.2%及8.4%。這些因素加起來,我們大概可以拼湊出,在這次調查中,在區域醫院及醫學中心這11科服務的每位醫師,除了在是否為「好醫師」的條件之外,被推薦的基礎其實是不一樣的,在北部醫學中心服務、並在專科醫學會有一定的地位與知名度的醫師擁有比其他醫師較高的被推薦機會。此外,通常我們會有一種迷失,認為問卷調查回收率高就代表準確,其實有不少學術論文[5]指出,問卷內容與取樣的正確才是決定調查品質的關鍵因素,如果問卷內容與取樣有偏差,回收率再高也是得到偏離的結果。

最後,推薦名單的彙整與排名的問題。在上述的這些問題下,這份調查最後用被推薦次數的排名來決定百大良醫的方式,我認為是有待商榷的。各方所推薦的人選可以加總的前提是每位醫師被推薦的立足點都一樣,而且每一位推薦人所用的推薦標準基本上是一致,否則我們會是將蘋果與橘子當成同一種東西而把他們算在一起。

也許,商業雜誌的調查與報導需要有很強的賣點,如果做得太像學術論文,就沒有人要看了。不過我建議商周可以參考像US News & World Report在進行年度美國大學、研究所、醫院排名的做法,先訂好評選的面向、客觀標準、項目與指標,再從各方面去進行評比與排名,逐年檢討改進並累積公信力。

另外一種做法,也許一開始野心不要太大,而是一個專科一個專科來,做比較深入的評比與訪查,包括客觀的臨床品質指標,並考量病人與家屬以及其他與該科醫師臨床工作有合作關係的專業人員的觀點。比如要遴選外科醫師,我覺得麻醉科醫師與麻醉科護士可以提供另一個角度的觀點,因為外科醫師與麻醉科人員在開刀房有緊密的互動關係,外科醫師手術的技術,麻醉科醫護人員應該相當清楚。

話說回來,一份調查,最重要的是有清楚的目的與方向,有明確、客觀的定義。這樣做出來的調查結果比較能達到原先的目的,也比較讓人一目了然,提高其參考價值。

[1] 有興趣的人可以連結並參考以下商周網站的百大良醫系列報導首頁http://www.businessweekly.com.tw/event/2008/dr/
[2] 可參考http://blog.udn.com/meexplorer/1846677
[3] 可參考http://www.taiwanus.net/news/shownews.php?id=75048
[4] 可參考http://morpheus.typepad.com/iait/2008/05/post.html
[5] Krosnick, J.A. 1999. Survey Research. Annual Reviews in Psychology. 50: 537-567

沒有留言: