輸了不要怪民調——論統計、博弈及其他

立法會選舉民意調查跟實際投票結果,落差頗為顯著。朱凱迪、鄺俊宇成為票王,民調預測不到;也有以為自己穩贏連任的議員,卻差幾百票輸給了初試啼聲的新人。

民調有誤差,所以選前有人批評民調不可信、有人則叫做民調的人不要「書生誤國」。二十年來,鍾庭耀被左中右派都罵過了,還是繼續堅守統計學這個學術堡壘,不得不敬佩他的魄力。至於「當民意調查的結果跟批評鍾庭耀的人的政治取態不同時,他們才會走出來罵。這叫做輸打贏要。」這句話寫於四年前,至今仍然適用。

著名美國政治民調網FiveThirtyEight於2008年,準確預測所有國會參議員選舉的結果而為熟悉,而總統大選亦成功預測印第安纳州以外的所有州份的選舉人票。2012年,亦再次成功預測所有選舉人票。但來到2016年總統選舉共和黨初選,開始時卻得出特朗普只有2%獲得提名參選的機會;民主黨方面,希拉莉在密芝根州勝出的機會超過99%,但最後桑德斯卻比希拉多出僅1.4%選票。後來FiveThirtyEight的創辦人Nate Silver更說,這是美國初選民調史上最大的落差。

由此可見,民調一直應作參考用途。而Nate Silver亦有說過,統計學上的「可推翻性」(falsifiability),是實證科學裡不可或缺的一部份。

至於要解釋香港民調的誤差,先要了解社會心理學上的「自我應驗預言」(Self-fulfilling Prophecy)。自我應驗預言所說的,就是預言的出現,會影響預言裡的所提及的內容,使之變成真實或正確。譬如說,如果一個風水師跟你預言,你下星期將會有煩惱。當你一直所想下星期會有甚麼煩惱時,這預言本身便成為了你的「煩惱」,也令風水師的預言成真。

並不是所有預測都會影響結果。天文台預測明天將會下雨,這預測本身並不會影響明天下雨的機率。而「自我應驗預言」另一個極端,則是「自我推翻預言」(Self-defeating Prophecy)。自我推翻預言的出現,會讓原來真的東西變假、或者正確的事情變為錯誤。

香港的選舉制度、加上民意調查,便容易孕育這種情況。於單議席單票制或者多議席多票則的選舉制度下,選民並無動機去投票支持於落選邊緣,但又跟原來的選擇相近的候選人。比例代表制(或更切合現況的多議席單票制)下,選民則有意欲去與其他理念相近的人,去「配票」讓最多理念相近的候選人當選。而選舉期間最具參考性的,便是民意調查。

如是說來,民意調查可以算是一種自我推翻預言——民調中越大機會當選的候選人,其支持者便越大誘因,去轉而選取民調中支持度較低的候選人。所以那些在象牙塔裡,奉民調為真理以去發動甚麼配票計劃的人,固然不懂選舉運作;那些說某某吸票能力太強,導致另人候選人落選的說法,也未免把「理念相近」看得太過二元分立、一廂情願。

撇除以上種種,在現行制度下,選民把選票投給落選邊緣,卻反成票王票后的例子,仍是會繼續存在,問題只在於效率的高低。這是博弈理論的實證例子。

公民黨比例代表制下寶貴的一課

這次不談政治,只談統計。

1.每屆立法會選舉,靠最大餘額當選的議員數目:

  • 1998年:五位
  • 2000年:六位
  • 2004年:六位(其中一位排列第三)
  • 2008年:三位
  • 2012年:零位

2.用現行的「黑爾數額」計算餘額,陳淑莊獲得23,205票。假設用「特羅普數額」計算餘額,陳淑莊將獲得29,125票,會在平行時空裡,比王國興多出1,789票而當選。

3.用現行的「黑爾數額」計算餘額,余若薇獲得16,784票。假設用「特羅普數額」計算餘額,余若薇將獲得22,504票,比奪得最後一席的梁志祥仍要少11,273票。

4.民建聯地區直選九張名單全部當選。

如此看來,比例代表制今屆名存實亡,幾等同於多議席單票制。當然,我們看到合組名單而不夠票令排第二當選的例子(如陳淑莊)、也有分拆名單卻雙雙落選的例子(如李永達/陳樹英),故此不能就此一鎚定音。但挾著國民教育、一簽多行、梁振英的弱勢政府等勢頭,卻因為建制派懂得遊戲規則,而令個別泛民候選人變成贏氣勢輸議席的罪人,可不是大家選舉前所預期的。

See also:
從比例代表制到立法會政治騷

畸型社會裡的M型社會

之前已經演示過有關統計的謬誤,近日又有浸會大學傳理學院懷疑以未完成的民意調查誤導市民。事件還未有定論,但卻帶出一個很重要的--嗯,套用唐英年的話--核心價值。

謬誤可能是因為無意弄錯基本邏輯;也有時是手民之誤、有時是不知者不罪。但有一種情況,就是惡意扭曲統計結果去遷就自己的論點。把弄數字遊戲,視普羅大眾為愚民看待者,比前者禍害更大。

每當提起M型社會,後續往往接著一句「由趨勢大師大前研一的《M型社會:中產階級消失的危機與商機》一書帶出……」。M型社會的論調在歐美並不盛行,但在中港台日向成為政客、報章的cliché。先不管不甚麼是「趨勢大師」、也不管大前研一的其他論述--今天我們主要要研究的是:M型社會究竟是否存在?

簡單來說,M型社會就是中產階層越來越少、而非常富裕與非常貧窮的人數則增多。在圖表中看來就像一個英文字母「M」。這一點,中學生也看得懂。但直覺有異,因為社會學的統計數字裡,M型圖表極為罕見,而最常見的應是正態分佈

一如以往,我找來了最原本的數據來確認一下。大部份關於M型社會的研究,都是建基於日本的勞動人口於1992年跟2002年的收入對照(《M型社會:中產階級消失的危機與商機》中譯本第七十頁)。1992年確實有更多的人更貧窮,但這是普遍的民生問題,跟M型社會無關。M型社會是指年收入950萬日圓至1000日圓的那個凹位。讀者們再看清楚點。由0到999萬日圓的每項數據的間隔為50萬日圓(1),但1000到1099萬日圓的間隔是100萬日圓,1200-1499萬日圓的間隔是300萬日圓,1500-1999是500萬日圓。發生甚麼事了?

間隔愈大,所包含的潛在人數愈多。不同單位不能比較,也是中學生也能明白的道理。沒有更精確的數據在手,我不能說日本沒有出現M型社會的情況。但照一般常理的把1000萬日圓以上的數據平分(例如把1000到1099萬日圓分成兩個參考數據,1000-1049跟1050-1099的人數平分為二),我們得到的,恰好是正態分佈。不是最科學的驗證方法,但起碼是蘋果跟蘋果的比較。當然,要是有政府干預,統計結果還是有可能出現M型分佈的。最低工資、甚至異想天開的最高工資,都會影響圖表的分佈。這是市場運作的例外,跟有意操縱統計結果的本質不同。

所以近年來大渲染的「M型社會」,原來只是等於人類有統計資料以來一直沒大變動的「鐘型社會」。大前研一是麻省理工的核子工程博士,也於McKinsey 工作二十多年。這樣明顯的錯誤,不太可能是無心大意之失。

但如果--我只是說如果--他是有心嘗試用科學去「改進」社會的話,那就是混淆了實證科學(positive/descriptive science)及價值科學(normative science)。要是他想去「改進」社會的時候甚或歪曲了統計數字的話,那就更加令人可惜了。我對大前研一的認識不深,所以不便妄下結論,也讓自己他日有個下台階。

寫到這裡,還未入手去說「畸型社會」。反正是完全不同範疇的論點,另文再續。

See also: M型社會?M型你個大頭!

(1): 文字上的寫法為300-349、350-399等,數學上的表示方法應為[300, 350), [350, 400)等。所以間隔為50萬日圓,而不是49萬日圓。

指正「一成大學畢業生 月入少於五千」的謬誤與訛誤

(此文原屬《鍾庭耀的統計學》的一部份。下筆不久,找來資料查對一下。尋根究底、好事之徒者如我應該不多。可是一看之下不禁拍案而罵,需另文發砲。又可算是《Statistics,多少惡行假汝之名而行?》系列之三。)

話說某調查發現有一成的大學畢業生,全職工作收入每月少於五千港幣(經濟日報,2010年11月24日)。沒有人覆核新聞,只顧爭相轉截。事後各方少不免大事張揚,一時間各路人馬指指點點。一些說要改革教育、一些說要創造就業機會。有說政府的錯、有說大學的錯、有說大學生「高學歷、低收入」,唯恐天下不亂。

該調查由青年事務委員會委託嶺南大學社會學及社會政策系進行。調查報告資料充分、準則客觀,沒甚麼挑剔的地方。該報選了有關全職青年的收入作為題材,算是迎合讀者口味,亦是無可厚非。

先說忽略正態分佈的謬誤(Ignoring the normal distribution)。(1)

統計學上有種東西叫正態分佈(Normal distribution),大學生差不多一定會讀到。物理學、生物學、社會科等常見的現象。舉個例子,一百個學生考試,最通常出現的情況是大部份人得到中間的分數,少部份會拿較高或較低的分數。兩邊不一定完全對稱,但鐘型分佈大都是屬於正態分佈。

要是有一成大學生真的月入低於五千的話,我們要問:「中位數在哪?」、「這是否正態分佈?」、「在相同的標準誤差下,是否有一成大學生高於中位數?」只抽取其中一部份來解讀而不看整個圖案的話,得出來的結論只會是一啖笑。

如果該調查報告是正態分佈、而又有一成大學生月入低於五千,那我們(1)其實不用再大呼小叫,和(2)我們亦不可能有一種社會政策可以把某批大學生的收入增加,而不影響到整個鐘型分佈。試問歷史上有哪個政府可以把所有人的收入都固定在一點?中國搞過共產,辦甚麼人民公社、大鍋飯,最後只得出一鑊粥。

*                                     *                                     *

戲肉來了。

閒人管閒事,我找來了原來的《香港青年發展指標》一看。節錄第49頁相關數據如下:

全職月入學士學位或以上
沒有0.30%
$3,000 以下0.60%
$3,001 – $5,0003.30%
$5,001 – $7,0001.50%
$7,001 – $9,00018.20%
$9,001 – $12,00043.80%
$12,001 – $15,00022.30%
$15,001 – $18,0005.40%
$18,000以上4.80%
合計(人數)336

月入五千以下百分比為4.2%;七千以下為5.7%,是中學生都讀得懂的數字。哪麼10%從何而來?

再看一看第50頁的調查結論:

「……就收入方面,香港勞工及福利局發佈2009 年貧窮指標報告以每月就業收入中位數為$11,000作標準,而對於15-24 歲就業人士的貧窮定義為「每周工作35 小時或以上而每月就業收入少於中位數50%」—即收入少於$5,500……我們以最接近這指標的收入範圍代替,分別是以「$9,001-$12,000」作收入標準、及以收入等於「$3,001-$5,000」或以下視為收入貧窮……」

「 根據這兩項準則,受訪者中每周工作35 小時或以上的收入貧窮青年佔5.3%……此外……學士學位或以上的受訪者之中約有1 成是收入貧窮……」

看出箇中玄機嗎?原來撰文者花了大篇篇幅去界定何為「收入貧窮」,卻在最後用「此外」一詞全部推翻。有一些擁有大學學位或以上的受訪者是被界定為兼職,而當中多達六成收入少於五千元,而全職跟兼職兩組人月入低於五千的平均數剛好就是10%。撰文著突然撇開了「每周工作35 小時或以上」的定義而去無矢放的,不知是有心或無意。但是大學畢業後兼職工作的人,大部份是去攻讀其他學位。兼職月薪低可以理解,卻不代表香港有嚴重的「高學歷、低收入」需要去解決。

所以昨日字字鏗鏘的「一成大學畢業生 月入少於五千」標題,原來只是訛誤一場。三人成虎而又覆水難收,今日大家早已盲從附和,各抒自見。最後恐怕就如達明一派的《十個救火的少年》一歌:「亂說亂說 愈說只有愈遠」……

Update on 5th Jan 2012 : 送佛送到西--發了電郵給青年事務委員會、嶺南大學社會學及社會政策系和經濟日報,告知他們上述有關錯誤。如有回覆將會在此更新。tl;dr – 全職大學畢業生月入五千以下的百分比為4.2%而非10%;所有人都只是以訛傳訛,沒想過去嘗試覆核數據。

(1): 承李天命博士之習慣,指出謬誤為重,糾正訛誤次之。

See also:
Statistics,多少惡行假汝之名而行?(一) 
鍾庭耀的統計學