Education Week 11/2 報導:說「AI 讓學習變好」的統合分析被細查,查出不可能的統計數字、可能是 AI 編的參考文獻,其中一篇已撤稿;史丹佛整理 800 多篇論文,高品質因果研究只有 20 篇。研究證明不是答案,是一個該追問的說法,附聽到「研究證明」時先問的三個問題。
Read in English: "Research Shows" Is Not an Answer
「研究證明,AI 讓孩子學得更好。」
這句話,你聽過幾次?
11 月 2 號,
美國《教育週報》(Education Week)
報了一件研究圈自己的事。
美國一所社區學院的副教授
Patrick O'Neill,
把說「AI 讓學習變好」的
統合分析,
一篇一篇拿出來查。
統合分析,
就是把很多研究
合在一起算的「研究的研究」。
最常被拿來說
「證據很清楚」的,
就是它。
這類統合分析,
美國教育媒體 Hechinger Report
報導,有 39 篇。
39 篇,
全部說 AI 有明顯好處。
他細查了其中 14 篇。
這 14 篇,
在學術搜尋引擎上
被引用超過 3,000 次。
每個月還多約 200 次。
查出來的東西:
有的研究,
統計數字是「不可能」的。
有的參考文獻,
很可能是 AI 編的。
還有一篇研究,
引用的 ChatGPT 論文,
日期比 ChatGPT 公開上線還早。
這批常被引用的分析裡,
有一篇,
2025 年 5 月刊在
Nature 旗下的期刊,
今年 4 月已經撤稿。
10 月 20 號主持線上研討會、
讓 O'Neill 發表結果的
MIT 副教授 Justin Reich 說:
「同儕審查沒有發揮作用。
統合分析也沒有。」
另一份資料,
來自史丹佛。
截至 2025 年 10 月,
他們收集了
超過 800 篇
AI 和中小學教育的論文。
高品質的因果研究,
只有 20 篇。
在美國中小學課堂裡,
學生用 AI 的高品質因果研究,
一篇都沒有。
所以,
那句「研究證明,AI 讓孩子學得更好」,
很多時候,
是建在這些東西上面。
大家看到的是:
研究說 AI 有用。
我看到的是另一件事。
AI 最危險的,
是很有自信地說錯。
這次很有自信說錯的,
不是 AI。
是我們拿來說服彼此的研究。
研究證明,
不是答案。
是一個你該追問的說法。
但我要先說清楚,
這不是說 AI 對學習沒用。
史丹佛的整理也寫了,
有教學護欄、
不直接給答案的工具,
結果比直接給答案的
聊天機器人更有希望。
O'Neill 自己用 44 個
設計比較嚴謹的實驗
做了初步分析,
平均起來,效果大約是零。
個別結果從很有幫助
到很有害都有。
而且這也還是初步結果。
所以比較準確的說法是:
現在的證據,
還撐不起那麼大聲的「有用」。
史丹佛教授 Susanna Loeb 說,
每個人都要誠實面對,
一份研究
能說明什麼、不能說明什麼。
今天就可以做的一件事。
下一次,
有人跟你說「研究證明」,
不管是廠商、補習班、
簡報,還是群組裡轉來的文章,
先問三個問題。
第一題:
研究的是誰?
大學生?小學生?
在哪裡?多少人?
第二題:
比的是什麼?
是作業寫得比較快,
還是一個月後,
孩子還會?
史丹佛問的就是這一題:
AI 是在幫學生把作業做完,
還是幫他學到帶得走的能力?
第三題:
這份研究找得到嗎?
把作者和年份
丟進 Google Scholar。
看它是不是真的存在,
有沒有被撤稿。
三題都答不出來,
那句「研究證明」,
就先放著。
如果你是老師,
教學生查證 AI 之前,
可以先讓他們查證一份
「研究顯示」。
如果你是上班族,
下次簡報裡出現
「研究顯示效率提升多少」,
先問一句:
研究的是誰?
回到開頭那句話。
「研究證明,AI 讓孩子學得更好。」
它不一定是錯的。
但它不該是對話的結尾。
應該是開頭。
上一次有人跟你說「研究證明」,
你有沒有問一句:
你怎麼知道?
免費領「先人後機練習卡」
留下 Email,練習卡和 3 份進階練習包一起送你。
👉 免費訂閱《碩學苑》會員信,練習卡和 3 份進階練習包一起送你
想系統學「三層驗證」
參考資料
- Education Week:The Research on AI in Education Is a Mess(Stephen Sawchuk,2026-11-02)
- The Hechinger Report:39 meta-analyses, 39 positive findings: An audit finds serious flaws in research on AI in education(Jill Barshay,2026-10-26)
- Stanford SCALE/AI Hub for Education:Understanding the Evidence Base on AI in K-12 Education(2026-03-11)
- GovTech:Nature Retracts Oft-Cited Paper on Positive Impact of ChatGPT(2026-05-06)