文章探讨了如何利用AI语音代理进行可扩展的口试,以应对学生依赖大语言模型完成作业的问题。作者发现许多学生提交的优秀作业无法在课堂随机提问中自圆其说,说明书面作业已不能真实反映学习效果。受相关研究启发,他们尝试用语音AI代理进行期末考试,这种两年前看似荒谬的方法如今成为解决学术诚信问题的创新方案。

以AI对抗AI：用语音智能代理实现可扩展的口试评估

背景与问题

在开设“AI/ML产品管理”课程时，教师发现学生的课前作业质量异常高，甚至像经过专业团队润色。随机课堂提问揭示了一个严峻问题：许多学生无法为自己的作业内容辩护，甚至无法参与讨论。这表明传统书面作业已无法真实评估学生的理解能力。

解决方案：语音AI代理口试

1. 为何采用口试？

   • 生成式AI（如ChatGPT）能轻松完成传统笔试题目，口试则能实时考察学生的逻辑推理、案例应用和决策辩护能力。
   • 挑战在于：人工口试难以规模化，而AI代理解决了这一问题。

2. 技术实现

   • 使用ElevenLabs Conversational AI构建考官代理，整合语音转文本、动态参数传递（如学生姓名、项目细节）和结构化流程设计。
   • 考试分为两部分：
     • 项目讨论：针对学生的结课项目深入提问，杜绝“用AI代写作业”。
     • 案例分析：随机抽取课堂案例，测试知识掌握程度。

3. 成本与效率

   • 36名学生的口试总成本仅15美元（平均每人0.42美元），耗时9天。若人工操作，需30小时评分时间，成本高达750美元。
   • AI代理还提供多模型评分、结构化反馈和完整审计记录。

挑战与优化

1. 用户体验问题

   • 语音压迫感：克隆的教师声音被学生认为“严厉且令人焦虑”，未来需A/B测试更温和的语音。
   • 问题堆砌：代理曾一次性抛出多个问题，后改为“每次仅问一个”。
   • 思考时间不足：调整代理等待时间至10秒，避免打断学生思考。

2. 技术缺陷

   • 随机性不足：AI偏好固定案例（如初期88%选“Zillow”），后改为代码强制随机分配。
   • 评分分歧：初期三个AI模型（Claude、Gemini、ChatGPT）评分差异大，通过“委员会协商机制”提升一致性（最终85%评分差异≤2分）。

教学反思

• 暴露教学短板：学生在“实验设计”环节平均得分仅1.94/4，反映课堂讲解不足。
• 考试时长≠能力：最短考试（9分钟）获最高分（19/20），而最长考试（64分钟）仅得12/20。

学生反馈

• 70%认可口试能真实检验理解力，但83%认为比笔试压力更大。
• 多数希望保留自主选择考试时间的灵活性。

未来改进方向

1. 优化语音代理的语速和亲和力。
2. 结合RAG技术，引用学生提交的材料精准提问。
3. 增强案例随机性，设置评分分歧时的人工审核机制。

核心结论

• 传统作业和笔试已失效，口试因AI代理变得可扩展。
• 这一模式鼓励学生通过反复练习提升能力，而非依赖题目泄露——“用AI之火对抗AI之火”。

（注：本文保留了关键实验数据、技术细节和教学启示，删减了部分冗余的技术参数和次要案例。）

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

支持AI监考的观点

1. 解决作弊问题：认为传统考试方式难以防止LLM作弊，AI监考是无奈之举

   • "当所有人都作弊时，诚实的学生反而会得低分，还能怎么办？"（baq）
   • "现在LLM既好用又普及，用它作弊的诱惑太大了"（Aurornis）

2. 成本与效率优势：肯定AI考试的低成本（$0.42/学生）和可重复练习的特点

   • "可以无限次练习直到准备好，这才是学习该有的方式"（alwa）
   • "比回归纸笔考试更先进"（Levitz）

反对AI监考的观点

1. 非人性化体验：批评AI考试缺乏人文关怀且增加压力

   • "被AI审问...真庆幸我在'前AI时代'上大学"（A_Duck）
   • "83%学生认为口试比笔试压力更大"（michaelt引用数据）

2. 评估有效性存疑：质疑AI能否真正检验学习成果

   • "练习考试只会提高应试技巧，而非真正理解"（viccis）
   • "这既不能提升沟通能力，也容易作弊"（semilin）

3. 技术可靠性问题：指出AI监考可能引发的新问题

   • "下一步是不是学生也用AI语音来回答AI提问？"（Twirrim）
   • "三个不同LLM的配置原因不明"（gaborcselle）

替代方案建议

1. 回归传统监考：主张采用封闭式笔试或现场口试

   • "我们当年手写考试，千人班级最终毕业不到10人"（lifetimerubyist）
   • "意大利高中全班旁听的口试效果很好"（schainks）

2. 教育体系改革：呼吁从根本上改变评估方式

   • "真正的解决方案可能是彻底取消考试"（A_Duck）
   • "应该持续评估能力而非一次性考试"（Levitz）

3. 允许使用AI工具：建议拥抱技术变革

   • "让学生自由使用工具，通过曲线评分区分真实水平"（CuriouslyC）

关键争议点

• 压力是否必要：
  支持方："压力是现实世界的预演"（phren0logy）
  反对方："教授突然变严厉的语气让我多次考试失常"（ordu）

• 技术中立性质疑：
  "当AI考官遇到AI考生，这套系统就成了笑话"（throwaway81523）
  "文章结论与学生偏好数据明显矛盾"（michaelt）

（总结涵盖28条核心评论，保留原始中英文引用并平衡呈现多方观点，字数控制在简洁范围内）