Hacker News 中文摘要

RSS订阅

为5岁儿童打造实时AI导师 -- Building a real-time AI tutor for 5-year-olds

文章摘要

这篇文章介绍了Ello团队为4-9岁儿童构建实时AI教学系统的架构设计。核心挑战是必须在1000毫秒内响应,因为儿童注意力短暂,无法忍受延迟。团队将教学法融入工程,确保AI能即时回应、避免错误信息,并像优秀教师一样在思考时先给予孩子确认。

文章总结

好的,这是根据您的要求,对原文进行中文重述和精简后的版本:

标题:在1000毫秒内教导孩子:实时AI导师背后的架构

我们为4-9岁儿童打造了首个AI导师,教授数学和阅读。要让AI真正教好五岁孩子,必须将教学法融入工程。孩子无法忍受缓慢的回复,看不懂聊天界面,也无法忘记模型说错的任何话。

对话中2秒的停顿对孩子的感受与成人截然不同。几秒钟就足以让孩子的注意力分散,学习中断。好老师能立即回应孩子,即使他们为了让孩子思考而暂不给出答案。教学就是在当下时刻匹配正确的方法,而大多数方法并非直接给出答案。

我们想构建一个真正能教学的导师,而不仅仅是快速响应的聊天机器人。我们深知其下的约束很严格,且不容妥协:每次交互的响应时间必须低于1秒。大多数智能体通过推理预算来权衡速度与质量,而我们的架构必须将教学法作为基础,并实时回应孩子。

我们摒弃了标准的智能体循环。

标准模式是工具循环:大语言模型输出工具调用,等待执行,观察结果,再决定下一步。但这种方式存在延迟问题。前沿模型生成首个token需要2-3秒,之后以每秒约30个token的速度解码。加上往返延迟和音频播放,标准循环意味着每句话或屏幕变化之间会有3-4秒的停顿。

在一次早期测试中,一个六岁男孩等待后问道:“他为什么什么都不做?什么时候开始?真无聊。”另一个孩子则发现只需部分时间集中注意力也能跟上,延迟教会了她忽略导师,这也正是她停止学习的时刻。

使用更小、更快的模型看似是便捷的解决方案,但教学任务范围广泛,小模型难以遵循如此广泛的指令。早期版本虽响应迅速,却经常直接给出答案,剥夺了孩子学习的机会。

因此,我们构建了一个自定义框架来平衡指令遵循、延迟和灵活的动作空间。模型在单个响应中流式输出多个动作。一个解释器在模型仍在生成后续动作时,解析并执行每个动作。孩子只需等待约30个token后的第一个动作,而非整个响应完成。

将生成与执行分离还带来了两个好处:我们可以根据情况更改可用动作,并且可以在不增加延迟的情况下验证每个动作。只有流式输出无效动作时,我们才会中断并重新生成,否则执行从不暂停。

教训: 智能体框架正朝着后台工作发展,速度与思考的权衡相对容易。实时学习则处于另一个极端。以对话速度进行教学意味着我们必须自己掌控循环。

一个好的导师能预测孩子下一步会做什么。

真正的老师既能反思学生刚做了什么,也能预判他们接下来会做什么。我们将与孩子互动的智能体称为“对话者”。早期实验表明,较小的动作空间能带来更好的指令遵循,因此我们构建了第二个智能体——“规划者”,来根据课程目标审查对话并管理对话者的上下文。

第一个版本是同步运行的,速度太慢。固定轮次后过期的计划不可靠。有效的方法是异步规划者,它在孩子思考或说话时运行,就像老师在对话间隙中反思和预判一样。异步意味着两个智能体同时运行,都读取和写入共享状态而无需协调。我们将每一次交互、点击和UI更新都作为不可变事件存储在仅追加的日志中。

这种轨迹格式还实现了另一种预判。当对话者提出封闭式问题时,框架会假设孩子可能的答案,并在自己的分支上预生成对每个答案的响应。当孩子回答时,我们将其匹配到分支并播放响应,无需等待新的模型调用。

教训: 孩子实时与应用程序交互,而智能体以离散方式生成。因此,要利用孩子思考或说话的时间。让规划者反思过去并预判未来,同时对话者处理当下,缓慢的教学推理与实时交流并行进行。当下一步可预测时,在孩子回答之前就生成它。

无人知晓的安全检查。

大多数AI产品将护栏与模型调用或智能体轮次串行放置。但在与五岁孩子的实时对话中,无处可藏,也没有“撤销”键。安全系统必须在每次交互中把关每个动作。

我们的安全分类器是一个大语言模型,运行需要约500-1000毫秒。等待检查完成会增加我们无法承受的延迟。我们框架的另一个优势是:安全分类器阻止执行,但不阻止生成。孩子一说完,我们同时调度分类器和一个生成对话者第一个动作的小模型。该模型快速反应,生成一个“急切响应”来镜像或确认孩子的话。

当安全分类器标记孩子的轮次时,我们会丢弃这个急切动作。对话者会收到针对此轮次的不同指导:不要重复那个名字,承认那一定感觉不好,并建议与大人谈谈。

教训: 对安全检查进行执行门控而非生成门控,以避免延迟损失。当检查失败时,用针对孩子情况的指导替换反射性响应。

构建AI导师远不止于此。

你不能仅通过选择正确的模型、提示它就能构建一个AI导师。它需要工程一个实时系统,为在事实上和教学法上都正确留出足够的时间——有时间在答案会削弱学习时暂不给出,有时间在孩子说完之前选择下一个动作,有时间在孩子听到之前重新考虑一个快速反应。

这些部分单独看似乎很小,但只有当所有这些部分协同工作时,才能创造出一个能提前思考、优雅恢复、感觉与孩子同在而非追赶孩子的导师。

评论总结

根据评论内容,主要存在以下对立观点:

反对观点(多数评论): 1. 剥夺人际互动:5岁儿童需要真实的人类接触,而非AI。 - "Don't deprive children of the interaction with other human beings. 5 year olds don't need tutors. They need play, touch, sense, feel, run, breath, sky, earth."(评论2) - "Kids need more human contact, not less."(评论4)

  1. 年龄不适宜:低龄儿童不需要辅导,更不应过早接触屏幕。

    • "5 year olds don't need a tutor, let alone solo screen time."(评论22)
    • "It's bad enough that schools give 5-year-olds tablets... Let's not expose them to AI brainrot now too."(评论7)
  2. 技术风险:AI可能输出错误信息,且可能影响儿童思维发展。

    • "Who validates that the blackbox of bullshit is spewing valid information?"(评论11)
    • "You're teaching children to behave like machines."(评论28)

支持观点(少数评论): 1. 教育公平:AI可弥补资源不均,为贫困地区儿童提供优质教育。 - "Most people in the world don't have any tutors! ...AI-based tutoring is going to raise the average level of education and literacy in the world."(评论13) - "In third world countries... a reasonably modern model would handily outperform every single teacher I had."(评论24)

  1. 解决现实危机:美国儿童阅读能力堪忧,AI可提供个性化辅导。

    • "40% of fourth graders are reading below basic levels... 400k teacher positions unfilled."(评论12)
    • "There are high school students graduating who cannot do math. This is tech that is actually being used for GOOD."(评论15)
  2. 技术潜力:AI能提供无限耐心和个性化教学。

    • "A smart and curious 5-year-old has endless questions and a properly harnessed LLM has endless patience to provide answers."(评论8)
    • "AI accelerated education is so obviously a gigantic win for everyone."(评论17)

中立/建设性评论: - 关注产品设计细节,如如何确保学习效果、避免依赖(评论9、18) - 承认现实困境,但担忧情感影响(评论16) - 创始人回应:已有数万家庭使用,效果积极(评论30)