Dartmouth 的 AI 导师实验：0.71 到 1.30 个标准差，到底意味着什么

📅 2026年7月6日

七月初的一个晚上，我在刷 Hacker News 的时候看到一条帖子，标题出奇地平淡：「New AI tutor achieves 0.71-1.30 SD effect size in Dartmouth course」。117 分，算不上大爆帖，但评论区的讨论深度让我觉得这篇论文埋了东西。

我下载了那篇 PDF（来自 Intelligent Textbooks 2026 Workshop），花了大概半小时读完。合上文件之后，我坐在电脑前沉默了大概十秒。

不是因为它数据漂亮——说实话，AI 在教育领域的效果提升报道我已经看过太多，从 Khan Academy 的 Khanmigo 到可汗学院的 GPT-4 辅导，每年都有类似的新闻。让我沉默的是这个实验的设计方式，和它暴露出来的一个很少有人讨论的信息冲突点。

Dartmouth校园夜晚

实验是什么

Dartmouth 这门课是计算机科学导论（CS 1），一个典型的大学入门编程课。实验组的学生在正常的授课之外，可以使用一个基于大语言模型的 AI 导师系统，而对照组只使用传统的教学资源——教科书、讲义、TA 辅导。

结果：AI 导师组在期末评估中比对照组高出 0.71 到 1.30 个标准差。

怎么理解这个数字？在教育研究中，0.2 是「小效果」，0.5 是「中等效果」，0.8 以上是「大效果」。1.30 基本属于「你在教育实验里很少能看到的数据」。

第一反应——这个结果是不是有问题？

我最初判断错的点

读完实验报告的第一遍，我脑海里自动浮现了一个解释：「肯定是样本偏差。选修 CS 并使用 AI 辅助工具的学生，本身就对编程更感兴趣，基础更好，所以期末成绩自然更高。」

这个判断很合理，甚至写在大部分教育研究的注意事项里。所以我翻到实验设计部分，想看他们有没有做随机对照——结果发现他们确实做了。而且不是简单的随机分组，而是考虑了先修课程成绩、性别比例、编程经验等多维度的分层随机。

于是我的第二个怀疑转向了「AI 导师本身是不是就是 GPT-4 套壳？如果是，那这个结果本质上是「能用 ChatGPT 的学生 vs 不能用 ChatGPT 的学生」，后者的劣势根本不是教育方法的差异，而是工具可达性的差异。」

这个怀疑我保留了很久，直到看到他们描述 AI 导师设计的那一节。它不是一个通用的聊天机器人，而是被设计为「不会直接给出答案」的 Socratic 式导师。

这里有一个关键设计决策：AI 导师被明确 Prompt 为「当学生问到一个编程问题时，不直接给出代码，而是反问引导性问题」。比如学生问「怎么用 for 循环遍历列表」，AI 不会直接写代码，而是反问「你考虑过用 range() 来生成索引吗？」。

这个设计不是一开始就定下来的。

AI导师界面

决策过程——三个选项的逐次放弃

我读论文的时候注意到他们在附录里提到了三个不同的 AI 导师设计原型，看到这里时我其实犹豫了一下——因为这和我想象的「设计完直接上线验证」完全不同。

第一个原型是一个完全开放的 AI 助手，类似 ChatGPT 但接入了课程材料。结果？学生直接让它写作业。这个方案在一周内就被放弃了——不是因为它技术上不行，而是因为它在教育上起到了反作用：学生不再自己思考了。

第二个原型尝试限制 AI 的权限——只让它回答「概念性问题」，编程题目禁止响应。但这个方案的结果更糟：学生发现 AI 帮不上忙之后，干脆就不用了。AI 导师的使用率在第一周暴跌到 12%。也被放弃了。

第三个方向是 Socratic 式引导，加上一个「当学生已经尝试过至少三次之后，可以给提示」的宽松规则。

这个方案不是最优的——理论上最理想的 AI 导师应该能动态判断每个学生的「最近发展区」（Zone of Proximal Development），实时调整引导深度。但预算和工期卡在那里，他们只能选一个在现有大模型能力范围内可行的方案。

论文里有句话我印象特别深：「这个方案并不完美。当学生在第三次尝试后仍然卡住时，AI 给出的提示往往仍然太抽象，学生还是不明白。但我们暂时没有更好的办法。」

读到这句话的时候我心里咯噔了一下——这不就是所有做 AI 产品的人每天面对的现实吗？不是不知道更好的方案是什么，而是——

一个不可预测的细节

在实验进行到第三周的时候，出现了一个不太对劲的数据点：AI 导师组的平均代码提交次数突然比对照组少了 40%。不是因为他们不写代码，而是因为他们把更多时间花在了读 AI 的引导问题和思考上。

这个数据让实验团队一度以为 AI 导师在「拖慢」学生的学习速度。但第四周之后，AI 组的提交次数开始追上，而且单次提交的代码质量（以通过测试用例的比例计）比对照组高出约 23%。

也就是说，学生在前三周用慢下来的节奏换了一个理解深度，然后后程爆发了。

我坐回工位盯着天花板看了几秒。这类横跨「效率」和「效果」之间的冲突，在产品设计里几乎每天都在发生，但你很难在学术论文里看到一个团队愿意把它写出来。

学习曲线对比

现在回头想

那三个 AI 导师原型中，第一个方案（完全开放）其实是大多数在线教育平台目前的默认选择——给一个 AI 聊天窗口，让学生自由提问。这个选择本身不是错误的，但 Dartmouth 的实验数据暗示了一种可能性：AI 在教学场景中最有用的形态，可能恰恰是最不「自由」的形态。

不完美，远不完美。即使在最终方案里，AI 的 Socratic 引导在面对低基础学生时仍然经常失败——那些连「什么是变量」都不知道的学生，再多的反问也引导不到正确的方向。

后来我一直在想，如果 AI 导师从一开始就设计成「自适应难度分级系统」，而不是「统一风格的 Socratic 引导」，结果会不会完全不一样。但这个假设可能永远没有答案——因为实验已经结束了，而 Dartmouth 没有经费再做一次。

关于维基框架

维基框架（Wiki Framework）是一套面向复杂业务场景的轻量级开发框架，支持多语言、多协议、多部署形态。适用于企业级应用开发、微服务架构、云原生部署等场景。