| 發表文章 | 發起投票 |
香港大學新聞及傳媒研究中心 統合分析了解「袋住先」民意調查
周日話題﹕不存在的「主流民意」
——以最嚴謹的統合分析了解「袋住先」民意調查[/size=6][/b]
【明報專訊】過去數周，香港政治最弔詭之處，莫過於政府和親建制人士忽然每天把「尊重主流民意」誦得琅琅上口——若然主流民意早獲基本尊重的話，怕且已有兩至三位官員因失職下台——政府一方面選擇性將有利的民意用作抗衡反對聲音的政治工具，另一方面講明無論民意如何政制方案也沒有修改空間，這個政府不是虛偽，算是什麼？
政府政改方案正式出爐，一如所料是根據人大「八三一決定」制訂。政府、建制派和泛民三家被指大打民意戰，民意彷彿成為了這場政改爭論各方爭取的籌碼，政府口口聲聲說主流民意支持「袋住先」，指有六成支持，再用盡公權力開動政治機器，打民意戰。泛民則稱有堅定參與雨傘運動的群眾支持，反對任何「八三一決定」制訂的方案。
量度民意本來是一門科學，但卻在政治力量互相角力與及公眾和傳媒普遍對民調缺乏批判思考下，民意在公眾話語中往往變成廉價的泛泛之談。問題是，我們真的能夠準確測量民意嗎？詮釋民意有什麼局限因素需要考慮？
市民從不同媒體接收政改民調結果，建構出對民意的觀感。有所謂「政治上觀感就是現實，真相怎樣根本不重要。」(「This is politics. Perception is reality. The truth won't matter.」)立場親建制的報章最近匯集各路民意調查，指支持政改通過的民意達八成。細心查證才找出他們所引用其中一項數據來源，原來是來自工聯會，指有76%人支持「袋住先」。查找下，在工聯會網站公布的調查新聞稿非常含糊，旁敲側擊才能知道那只是一場街頭路人問卷調查。相信讀通識科的中學生都知道，街頭路人問卷調查樣本毫無代表性，以此來代表整體港人的民意取向是明顯的故意誤導。同理，網上民調、工商會只訪問會員的調查同樣沒有統計學上代表性，實在不應引述為民意指標。
就算媒體沒有錯誤引述民調，我們也應要知道包括民意調查在內的任何定量研究有效度（validity）都會受至少三個因素影響，就是抽樣誤差（sampling error）、干擾因素（confounding）和研究偏誤（research bias）。抽樣誤差基本上是無可避免，隨機電話抽樣有可能抽到大量只持某種意見的受訪者。這亦是為何研究要以統計學方法計算誤差範圍（margin of error）的原因。干擾因素在電話隨機抽樣調查，可見於年輕與年老人士所持意見可能有所不同。如隨機取樣出現較多年長人士（尤其是以固網電話為主的民調），可能會令總體結果偏向於年長人士意見。一般解決方法是將民調結果根據人口普查的人口結構進行加權處理，減少此類外在干擾因素的影響。研究偏誤是指研究方法本身會影響民調結果，最常見的就是既定觀點的民調問題（loaded question）。這亦可解釋何以不同機構進行同類民調，會出現不同結果的原因。
統合分析 最高規格的證據
雖然在傳媒寫文章發表意見，在港大校委會李國章委員眼中屬「取易捨難而不安分做好工作」，但我們今次是以最嚴謹分析民意的研究方法，從慧科數據庫搜尋所有由去年八月三十一日至今傳媒有報道過有關人大「八三一決定」的全民隨機抽樣調查，再到調查機構或贊助機構網站收集數據進行統合分析（meta-analysis）。統合分析用意是將各種同類研究的結果以統計學的方法共冶一爐，樣本大的比重佔大一點，小樣本佔小一點。有學者認為統合分析是最高規格的證據，因為單一調查結果指向的結論，證據力並不及多次調查結果一致的結論。而統合分析正正就是分析多次調查結果是否可以組合成一致的結論。外國常常也有用統合分析綜合民意，最知名的例子要數2012年Nate Silver成功預測全美總統選舉結果，方法就是統合分析【1】。
與此同時，統合分析過程中亦可進行分層分析（stratified analysis）和統合迴歸（meta-regression）分析影響研究結果差異的因素，也即統計學上異質性（heterogeneity）的問題。在此要強調一點，由於各民意調查問題不盡相同，本次合成出來的結果沒有「一鎚定音」的意義，本研究的目的只在於分析民調間結果的異質性【2】。
左右民調 問題和用字
經過上述搜尋後共獲得34次隨機抽樣民調數據，其中6次無法找回原始資料或並非隨機抽樣而無法納入分析。最終分析共納入28次民調，受訪總樣本共25,698人次。本研究第一個發現是民調報告經常缺失重要的技術細節，例如有8次民調沒有表明有否根據人口結構加權處理（分別來自新社聯、理大社研和《蘋果日報》）、10次民調沒有報告回應率（分別來自新社聯、新論壇、香港研究協會和《蘋果日報》）、5次民調沒有詳細公布就「八三一決定」所詢問的問題原句（分別來自新社聯和理大社研）。分層統合分析亦發現，有否透露此類技術細節亦與民調結果有相關性。平均來說，沒有公布回應率的民調明顯地會公布較高支持「袋住先」的結果。與有公布回應率的民調平均民意差別達13.4%，屬統計上的明顯差別（p=0.0047）。
納入的所有民調指出有高於六成民意支持「袋住先」都是由香港研究協會、民建聯、新論壇和新社聯進行，此類機構有建制派背景。相反，由泛民主派組成的真普聯委託港大民研進行的民調和理大社研的民調，結果卻大多低於三成。在此也必須說明一下，真普聯和理大社研在民調所用的問題與其他民調非常不同。他們將受訪者分成三批（支持、中立、反對），其他的調查卻只會將答案二分為支持或反對。我們另外發現民調問題的用字會影響民調結果。例如問題中有提到「原地踏步」的民調，支持「袋住先」的民意明顯較高。與沒有提到「原地踏步」的民調平均民意差別達14.67%，屬統計上的明顯差別(p = 0.001)【3】。
■結論
「袋住先」民意五五波 沒受外在環境影響
今次研究的結果也證明了一點，就是外在環境如大型民眾運動、政府宣傳、政客爭拗等，都沒有明顯轉變「袋住先」民意五五波的格局，社會仍處於嚴重的撕裂。相反，民調問題用字等等技術細節，才實在的影響民意調查的結果，但公眾和傳媒一般也不理會。與此息息相關的是，我們發現民調機構在發表結果時，此類技術細節並不完全透明。如果媒體引用此類民調時只管報道結果，甚至以不透明民調結果進行倡導性新聞（advocacy journalism），推銷某一政治取向，公眾便被蒙在鼓裏。根據世界民意研究協會給記者的指引【5】，就算民調機構在報告沒有公布技術細節如問卷問題、回應率等等技術細節，記者在報道時有責任向民調機構追問，並詳列此類細節供公眾參考。
走筆之時，得知三間大學即將破天荒聯手舉辦大型滾動民調，了解未來兩個月的政改民意取向。根據往績，大學民調相對較為透明，提問也較少引導性。希望三大的大型滾動民調可以成功，為公眾提供可信而且準確的政改民意結果。
【1】詳見Nate Silver著作《精準預測》（The Signal and the Noise）
【2】詳細原因可參詳 Egger. Meta-analysis Spurious precision？ Meta-analysis of observational studies. BMJ 1998；316：140
【3】本分析將沒有公布問題的新社聯和理大社研排除
【4】以Loess方法計算
【5】wapor.org/resources-for-journalists
文__陳電鋸 傅景華
香港大學新聞及傳媒研究中心
編輯/蔡曉彤
http://news.mingpao.com/pns/周日話題﹕不存在的「主流民意」-——以最嚴謹的統合分析了解「袋住先」民意調查/web_tc/article/20150426/s00005/1429986771449
——以最嚴謹的統合分析了解「袋住先」民意調查[/size=6][/b]
【明報專訊】過去數周，香港政治最弔詭之處，莫過於政府和親建制人士忽然每天把「尊重主流民意」誦得琅琅上口——若然主流民意早獲基本尊重的話，怕且已有兩至三位官員因失職下台——政府一方面選擇性將有利的民意用作抗衡反對聲音的政治工具，另一方面講明無論民意如何政制方案也沒有修改空間，這個政府不是虛偽，算是什麼？
政府政改方案正式出爐，一如所料是根據人大「八三一決定」制訂。政府、建制派和泛民三家被指大打民意戰，民意彷彿成為了這場政改爭論各方爭取的籌碼，政府口口聲聲說主流民意支持「袋住先」，指有六成支持，再用盡公權力開動政治機器，打民意戰。泛民則稱有堅定參與雨傘運動的群眾支持，反對任何「八三一決定」制訂的方案。
量度民意本來是一門科學，但卻在政治力量互相角力與及公眾和傳媒普遍對民調缺乏批判思考下，民意在公眾話語中往往變成廉價的泛泛之談。問題是，我們真的能夠準確測量民意嗎？詮釋民意有什麼局限因素需要考慮？
市民從不同媒體接收政改民調結果，建構出對民意的觀感。有所謂「政治上觀感就是現實，真相怎樣根本不重要。」(「This is politics. Perception is reality. The truth won't matter.」)立場親建制的報章最近匯集各路民意調查，指支持政改通過的民意達八成。細心查證才找出他們所引用其中一項數據來源，原來是來自工聯會，指有76%人支持「袋住先」。查找下，在工聯會網站公布的調查新聞稿非常含糊，旁敲側擊才能知道那只是一場街頭路人問卷調查。相信讀通識科的中學生都知道，街頭路人問卷調查樣本毫無代表性，以此來代表整體港人的民意取向是明顯的故意誤導。同理，網上民調、工商會只訪問會員的調查同樣沒有統計學上代表性，實在不應引述為民意指標。
就算媒體沒有錯誤引述民調，我們也應要知道包括民意調查在內的任何定量研究有效度（validity）都會受至少三個因素影響，就是抽樣誤差（sampling error）、干擾因素（confounding）和研究偏誤（research bias）。抽樣誤差基本上是無可避免，隨機電話抽樣有可能抽到大量只持某種意見的受訪者。這亦是為何研究要以統計學方法計算誤差範圍（margin of error）的原因。干擾因素在電話隨機抽樣調查，可見於年輕與年老人士所持意見可能有所不同。如隨機取樣出現較多年長人士（尤其是以固網電話為主的民調），可能會令總體結果偏向於年長人士意見。一般解決方法是將民調結果根據人口普查的人口結構進行加權處理，減少此類外在干擾因素的影響。研究偏誤是指研究方法本身會影響民調結果，最常見的就是既定觀點的民調問題（loaded question）。這亦可解釋何以不同機構進行同類民調，會出現不同結果的原因。
統合分析 最高規格的證據
雖然在傳媒寫文章發表意見，在港大校委會李國章委員眼中屬「取易捨難而不安分做好工作」，但我們今次是以最嚴謹分析民意的研究方法，從慧科數據庫搜尋所有由去年八月三十一日至今傳媒有報道過有關人大「八三一決定」的全民隨機抽樣調查，再到調查機構或贊助機構網站收集數據進行統合分析（meta-analysis）。統合分析用意是將各種同類研究的結果以統計學的方法共冶一爐，樣本大的比重佔大一點，小樣本佔小一點。有學者認為統合分析是最高規格的證據，因為單一調查結果指向的結論，證據力並不及多次調查結果一致的結論。而統合分析正正就是分析多次調查結果是否可以組合成一致的結論。外國常常也有用統合分析綜合民意，最知名的例子要數2012年Nate Silver成功預測全美總統選舉結果，方法就是統合分析【1】。
與此同時，統合分析過程中亦可進行分層分析（stratified analysis）和統合迴歸（meta-regression）分析影響研究結果差異的因素，也即統計學上異質性（heterogeneity）的問題。在此要強調一點，由於各民意調查問題不盡相同，本次合成出來的結果沒有「一鎚定音」的意義，本研究的目的只在於分析民調間結果的異質性【2】。
左右民調 問題和用字
經過上述搜尋後共獲得34次隨機抽樣民調數據，其中6次無法找回原始資料或並非隨機抽樣而無法納入分析。最終分析共納入28次民調，受訪總樣本共25,698人次。本研究第一個發現是民調報告經常缺失重要的技術細節，例如有8次民調沒有表明有否根據人口結構加權處理（分別來自新社聯、理大社研和《蘋果日報》）、10次民調沒有報告回應率（分別來自新社聯、新論壇、香港研究協會和《蘋果日報》）、5次民調沒有詳細公布就「八三一決定」所詢問的問題原句（分別來自新社聯和理大社研）。分層統合分析亦發現，有否透露此類技術細節亦與民調結果有相關性。平均來說，沒有公布回應率的民調明顯地會公布較高支持「袋住先」的結果。與有公布回應率的民調平均民意差別達13.4%，屬統計上的明顯差別（p=0.0047）。
納入的所有民調指出有高於六成民意支持「袋住先」都是由香港研究協會、民建聯、新論壇和新社聯進行，此類機構有建制派背景。相反，由泛民主派組成的真普聯委託港大民研進行的民調和理大社研的民調，結果卻大多低於三成。在此也必須說明一下，真普聯和理大社研在民調所用的問題與其他民調非常不同。他們將受訪者分成三批（支持、中立、反對），其他的調查卻只會將答案二分為支持或反對。我們另外發現民調問題的用字會影響民調結果。例如問題中有提到「原地踏步」的民調，支持「袋住先」的民意明顯較高。與沒有提到「原地踏步」的民調平均民意差別達14.67%，屬統計上的明顯差別(p = 0.001)【3】。
■結論
「袋住先」民意五五波 沒受外在環境影響
今次研究的結果也證明了一點，就是外在環境如大型民眾運動、政府宣傳、政客爭拗等，都沒有明顯轉變「袋住先」民意五五波的格局，社會仍處於嚴重的撕裂。相反，民調問題用字等等技術細節，才實在的影響民意調查的結果，但公眾和傳媒一般也不理會。與此息息相關的是，我們發現民調機構在發表結果時，此類技術細節並不完全透明。如果媒體引用此類民調時只管報道結果，甚至以不透明民調結果進行倡導性新聞（advocacy journalism），推銷某一政治取向，公眾便被蒙在鼓裏。根據世界民意研究協會給記者的指引【5】，就算民調機構在報告沒有公布技術細節如問卷問題、回應率等等技術細節，記者在報道時有責任向民調機構追問，並詳列此類細節供公眾參考。
走筆之時，得知三間大學即將破天荒聯手舉辦大型滾動民調，了解未來兩個月的政改民意取向。根據往績，大學民調相對較為透明，提問也較少引導性。希望三大的大型滾動民調可以成功，為公眾提供可信而且準確的政改民意結果。
【1】詳見Nate Silver著作《精準預測》（The Signal and the Noise）
【2】詳細原因可參詳 Egger. Meta-analysis Spurious precision？ Meta-analysis of observational studies. BMJ 1998；316：140
【3】本分析將沒有公布問題的新社聯和理大社研排除
【4】以Loess方法計算
【5】wapor.org/resources-for-journalists
文__陳電鋸 傅景華
香港大學新聞及傳媒研究中心
編輯/蔡曉彤
http://news.mingpao.com/pns/周日話題﹕不存在的「主流民意」-——以最嚴謹的統合分析了解「袋住先」民意調查/web_tc/article/20150426/s00005/1429986771449
0
0本貼文共有 0 個回覆
此貼文已鎖，將不接受回覆
| 發表文章 | 發起投票 |