補習有用嗎？我們能不能從「數字」得到答案？
假日早晨8點半臺北車站附近的南陽街很熱鬧，高中生魚貫穿過「臺清交成政紅紙榜單」，進到百人的大教室努力衝刺，盼在關鍵一刻強棒出擊，為自己搏得一張進入國立大學的入場券。
根據近10幾年的研究發現，臺灣國高中生的補習比例超過5成，然而補習真的有效嗎？每個人對補習的感受差異很大，政治大學社會學系教授關秉寅透過「類實驗法」的統計策略發現，相較於從未補習之學生的學習成效（註1）為平均61.5分 ，學生若只在高中補習、國中未補習，學習成效可增加約9分；若是從國中一直補到高中者則增加約8分。不過，從國中到高中一路吃「大補帖」的學生，也比從未補習者有略高的憂鬱症狀分數。
「太好了，補習有效，繼續補下去！」「補習影響心理健康，不要補了！」若是直覺由結果推論補習對個人學習與心理健康的影響效果，恐怕太武斷了。由於每個人過往的學習狀況、家庭背景不同，有些對補習的感受度佳，例如成績好的學生能透過補習來學到更多解題策略；有些對補習的感受平平，甚至徒增學習困擾。關秉寅提到，高收入家庭和低收入家庭學習成就的差異並非只是補習造成，可能源自其他因素，例如不同的生活經驗等。
是補習影響學習成效，還是學生本身資質好呢？
此時你就發現研究的困難所在，不禁質疑研究方法是否考量到每個人的家庭背景、過去成績、補習意願等，是否必須用同一群背景的人來測試，究竟是因為補習影響學習表現，還是受到其他因素導致學生成績提高呢？
關秉寅笑說，這真的是政策影響評估常見的難題，究竟是教育制度改得好，促進階級流動，還是受到社會文化氛圍影響呢？「目前很多政策影響都是事後推論，而推論並不是嚴謹的因果分析，其實大家都知道用因果分析效果最好的就是透過實驗。」
以補習對學習效果影響的實驗法，就是將兩群相同背景的人，過去成績一樣、家庭收入一樣、父母的學歷一樣、甚至讀同班的人調查，來做補習實驗，來看一個有參與補習者，跟另一個沒參加補習者，最後的學習成績有沒有不同。 然而，實驗法在施行上有困難，因此社會學家通常只能透過事後統計的問卷、資料庫，來回推影響結果的可能，很難做到如同科學實驗般控制變因的因果分析。
透過反事實法模擬實驗環境 控制樣本的背景
近30年統計學家開發「反事實方法」的策略，應用現有的資料庫來模擬隨機分派實驗狀況，藉由問「假使...就會／不會怎樣」來控制個案補習前的狀況，剔除掉可能影響補習意願和學習成績的所有因素。
也就是說，當我們要驗證因為X（補習）而導致Y（學習成績）結果時，就必須控制可能影響X和Y的Z（過去學習成績）、W（過去補習經驗）、M（家庭收入）、U（父母學歷）等所有可能。
套用在研究中，就是對補習成效好且有機會補習的學生問：假使你過去學校成績不好、過往有補習經驗、父母學歷差、家境不佳，那麼你還願意去補習嗎？而這個補習傾向又可能影響到學生成績，補習意願高的人有可能成績跟著提升，所以可以再問那些願意去補習的學生：假如你並不想去補習，但仍然去補了，那麼你認為自己補習後的成績會跟著提升嗎？同樣的，套用在實際上沒補習學生時，問的問題是：假使你去補習的話，你補習後的成績跟與你背景相同但實際去補習的學生比較，會一樣嗎？
一連串假設問題就是擬定統計策略的核心概念，用以控制家庭、學生個人背景等變因，來模擬封閉式的實驗環境，避免補習學生的課業表現佳並非補習造成，而是家庭栽培、原先課業表現好等所造成「自我選擇偏差」（註2）的狀況發生。
傾向分數法 解決樣本不足問題
如果我們能夠普查全臺灣的高中生，當然能夠找出幾群同樣背景的樣本，再根據他們有補習與沒補習的差異，就像模擬科學實驗中操縱自變項的方式，判斷補習對學習成效的影響，但問題是資料庫涵蓋的樣本有限制。
此研究所用的樣本數來自於臺灣教育長期追蹤資料庫（TPES）之核心樣本（CP）。此樣本以2001年9月開始念國一學生的代表性樣本，並且在其國三、高二以及高三持續追蹤其後續之變化，大約為4,261人。
如果要逐一仔細考量諸多影響補習效果的因素的話，4,000多筆的樣本數並不多。因此，關秉寅採用「傾向分數」的方式來做，概念就是將影響補習（X）的Z、W、M、U等眾多因素變成一個補習的機率權重。
如此一來，即使有補習的小華跟沒補習的小明兩方家庭與個人背景不同，但若各自算出Z、W、M、U影響X的權數，假使小華有60分受其他因素影響、小明是40分，則可透過類似權重調整的方式，來平衡參與補習及不參與補習者的背景各項差異，處理樣本數不足與自我選擇偏差問題。
關秉寅補充說明，統計學已經證實以傾向分數的做法，跟找到完全背景一致者來分析的效果並無差異。
想像力推動統計觀念突破
簡單的「假使...就會／不會怎樣」（What If）的問題，居然是開啟用事後資料庫模擬實驗法的核心。
「其實社會學家跟科學家很像，天文學家也沒見過大爆炸，就是靠著問：假使有大爆炸出現，會根據哪些蛛絲馬跡來探詢宇宙的起源。」關秉寅表示，能夠問假設性問題，是人類尚無法被AI取代的想像力，也是人類文明能夠不斷推進的原因，「想像力就是超能力」這句話有其道理。
然而，學習新的統計法是需要下苦功的。2004年關秉寅在國科會（現科技部）支持下，至美國威斯康辛大學參加教育社會學大師Adam Gamoran的讀書會，學習「反事實分析法」，當時這是全球相當新的統計概念，也是從推論到因果驗證分析法的觀念突破。
返臺後，關秉寅又自學了兩年，才真正搞懂「反事實法」的相關概念及分析方法，並摸透統計軟體，2008年才有第一篇應用反事實法來做補習影響學習成效的因果推論，嚴謹的分析與對補習議題的關注，其後在此基礎上，進一步研究並投稿比較及國際教育學會（CIES）之旗艦期刊「比較教育評論（CER）」，並於2011年獲得CIES評選為CER當年度最佳論文獎。
但當我們問起：為什麼高中補比國中補來得效果更好呢？關秉寅笑稱自己還沒學到那裡，「黑盒子能夠回答問題，但要打開黑盒子探查為何會得到這樣的結果，卻很難。就像科學家如果有方法將病生理因果關係解釋清楚，例如抽菸導致肺癌的機制為何，就是能獲得諾貝爾獎的題目！」
因果分析法的下一步，是要做中介因素分析，這是更嚴峻的考驗。關秉寅表示，目前在中央研究院統計所研究生物統計的研究員黃彥棕團隊從事之「因果中介分析法」，概念就是在「因X導致Y」的狀況下，假使要確認M為中介影響機制，就要確保M作為X、Y的中介機制效果，並未受其他因素干擾。
生物學研究上比較好操作，因為人體是比較封閉的環境；但社會是開放的，每個人的決策差異更大。儘管屆齡退休，關秉寅仍希望以自由研究者的身份，學習新的統計策略，繼續進行補習相關的研究。
建置資料庫 開啟教育社會學研究
關秉寅因緣際會踏入教育社會學研究，一栽下去就是20年。2000年他擔任臺灣社會學會秘書長，受中研院社會所研究員及學會理事長張苙雲之邀，參與教育部及中央研究院合力支持的「臺灣教育長期追蹤資料庫」（簡稱TEPS）的田野調查工作，希望透過開放、可信的資料庫，記錄千禧世代國高中生的學習狀況，提供學者作為研究分析的素材，為臺灣的教育制度建言。
TEPS計畫持續調查7年後於2008年結束，關秉寅與其他學者認為，中斷調查相當可惜，因此向當時的國科會申請經費發起TEPS-B計畫，針對同批學生持續調查至今，長期記錄過去教育制度影響這群年輕人職涯發展的軌跡。
「執行資料庫調查的同時，也就利用這個資料庫關注補習問題，開展反事實分析法。」關秉寅表示，社會學家對教育的關注不只是培養人才，還有能否促進階級流動，當學習成績受補習影響越大，象徵只有能夠負擔補習費用的家庭才能繼承學習優勢，階級不平等的狀況就會加劇。
教改怎麼改最好？從長期追蹤資料庫找解方
隨著基礎教育擴張，全世界出現大規模的補習潮，臺灣補習班數量也逐年成長，中學生補習比例卻未出現下降趨勢。關秉寅表示，這說明無論教改怎麼變動，補習狀況還是一樣，或許問題不只在於教學的內容變化，「入學考試」制度的影響可能更大。
他提到，美國就注意到「單次入學考試」對促進階層流動幫助不大，像哈佛大學已取消以SAT（Scholastic Acessment Test，申請進入美國許多大學就讀的重要參考條件之一）作為入學的採計標準，而是用自傳與過去在校表現來作為考量，降低短暫衝刺的補習對學習效果的影響，此與108課綱推動以「學習歷程」作為入學參考的概念類似。教育部立意良好，但問題是多少學校改以學習歷程作為入學的主要指標呢？
改變入學方法能否降低補習現象，關秉寅認為，這是有待研究者進行深入分析的問題，但研究必須奠基於全面及長期資料庫，才能達到「循證教育研究」（evidence based education research）的目標。
108課綱是臺灣重要的教育改革，他呼籲臺灣應再次啟動大規模的教育追蹤調查。「沒有一個教育制度適合所有的人，每次教改也是有利有弊，但要盡可能讓利大於弊。」關秉寅建議，臺灣制度在改革之前，應參酌各種基於實證的研究來作為調整之基石，藉由完善資料庫，讓學界透過多元觀點與研究方法，在教育政策這塊持續努力。
說起社會學帶給自己的生命養分，就是讓關秉寅養成笛卡爾「盡你可能懷疑所有事」的批判思考，能從各種觀點看同一件事，而非果斷相信他人或自己的推測結果，時時反思如何做可能會有更好的結果。
註1：此處的學習成效，也就是研究變項中的「學習成就」，統計採用臺灣教育長期追蹤資料庫提供的綜合能力測量，將項目反應理論（Item Response Theory，IRT）估計的標準分數轉換成百分制分數。
註2：自我選擇偏差（self-selection bias），指的是在研究中的變項組合並非隨機分派，而是允許研究對象自己選擇。這種情況下，我們無法從變項組合導出研究結果，因為結果會受到研究對象的個人選擇所影響。
參考資料
1. 關秉寅（2020）。〈臺灣國高中生補習持續時間及變動軌跡類型對學習成就與心理健康之影響〉，科技部補助專題研究計畫成果報告期末報告。
本文轉載自《科技大觀園》(原文標題：補習有用嗎？反事實分析的發現可能和你想的不一樣)
延伸閱讀
