本文介绍了作者复现LeWorldModel的JEPA架构，并训练其在《超级马里奥》中预测游戏动态。模型在短期预测和近距离目标规划上表现良好，但无法完成远距离导航或跳过障碍。作者反思了模型虽能预测游戏，却未能真正学会推进游戏进程的教训。

好的，这是根据您的要求，对原文进行的中文重述，保留了核心细节，并删减了与主题无关的冗余内容。

项目总结：LeMario——用JEPA模型训练超级马里奥兄弟

本项目旨在复现LeWorldModel，一种从像素和动作中学习世界动态的联合嵌入预测架构（JEPA）。出于对游戏的热爱以及深入学习JEPA架构的愿望，作者从零开始编写了整个架构，并在《超级马里奥兄弟》上进行了训练。

模型最初通过了所有关键测试：它能泛化到未见过的游戏片段，能利用动作信息，并且在预测未来五步画面上的表现优于强基线模型。基于原始潜变量的无奖励规划，也能让马里奥移动到附近的目标位置。

然而，当目标被设定在更远的关卡中时，问题出现了：马里奥无法可靠地跳过第一个主要障碍，也无法导航到单一的目标图像。模型学会了预测游戏画面，但这并不意味着它学会了如何在游戏中取得进展。

整体架构

模型的核心是一个JEPA架构，包含以下部分：

1. 视觉编码器：将每一帧游戏画面压缩成一个192维的“潜变量”（latent）。
2. 动作编码器：将每两帧之间的5帧、每帧6个按钮（左、右、上、下、A、B）的序列压缩成另一个192维向量。
3. 因果预测器：由六个Transformer块组成，其任务是：根据之前的画面和按下的按钮，预测下一帧的潜变量。动作信息通过自适应层归一化零初始化（AdaLN-Zero） 注入到Transformer中，为每一帧的特征提供基于动作的偏移、缩放和门控控制。
4. 训练目标：预测器输出三个未来帧的预测潜变量，并与真实帧的潜变量计算均方误差（MSE）。为了防止模型将所有帧映射到相同潜变量（表示坍塌），引入了SIGReg正则化项，鼓励真实帧的潜变量保持多样性和信息量。

模型真的学到东西了吗？

在737,134帧数据上训练后，模型通过了验证测试： - 在未见过的游戏片段上，其一步和五步预测误差均低于“预测画面不变”的基线模型。 - 打乱动作序列会导致预测误差显著上升，证明模型确实学习了基于动作的短期动态。

让模型控制马里奥

为了将预测模型转化为控制器，作者使用了交叉熵方法（CEM） 进行规划：给定当前画面和目标画面，CEM会采样大量动作序列，通过模型预测其未来结果，并根据预测结果与目标潜变量的接近程度进行评分和迭代优化。

初步结果令人失望：当目标设定在很近的位置时，模型几乎无法让马里奥移动。

问题诊断与实验

为了找出问题，作者进行了一系列实验：

1. 潜变量包含什么信息？ 通过训练一个“探针”（probe）从冻结的潜变量中恢复马里奥的坐标，发现水平位置信息几乎完美可恢复（R²=0.997），但垂直位置信息很弱（R²=0.188）。这说明编码器学到了有用信息，但侧重于水平方向。
2. 用探针“修复”规划：当使用探针预测的水平位置来评分CEM的规划时，模型成功地将马里奥移动到了目标位置。这证明潜变量中的信息足以支持规划，但原始的潜变量距离度量方式有问题。
3. 尝试更远的目标：将目标设定在半关之遥的位置，原始潜变量规划终于让马里奥移动了更远的距离。但模型最终停在一个与目标画面视觉相似但实际位置不同的地方。这是因为游戏中的滚动摄像头会导致不同位置看起来非常相似，编码器认为它们“很近”。
4. 将目标拆分为更小的子目标：这进一步帮助了马里奥的移动，但潜变量距离作为“是否到达”的评判标准仍然不可靠。模型在需要跳跃的目标前再次失败，印证了垂直位置信息不足的问题。

最终结论与反思

实验失败指向了三个核心问题：

1. 预测状态 ≠ 控制状态：编码器学习的是对预测未来画面有用的信息（如摄像头位置、敌人动画），而非对控制马里奥前进有用的信息（如垂直位置）。
2. CEM会利用模型的弱点：CEM会找到模型“认为”能到达目标的动作，即使模型的理解是错误的（例如，将视觉相似但位置不同的场景视为目标）。
3. 环境假设的改变：原论文的Push-T环境与马里奥游戏存在根本差异，包括固定摄像头、平滑移动、视觉相似性与实际进度一致等。作者在复现架构时，忽略了这些对方法成功至关重要的环境条件。

尽管LeMario未能学会完美地玩《超级马里奥兄弟》，但它成功捕捉了短期的、基于动作的游戏动态。这次经历让作者深刻认识到，数据集、环境、评估方法和底层假设与架构本身同等重要。失败并非终点，通过逐一隔离和测试系统的每个组件，反而加深了对问题和模型的理解。未来的研究应更早地验证核心假设，建立简单基线，并围绕真正关心的行为来设计评估。

根据评论内容，总结如下：

主要观点与论据：

1. 潜空间规划的噪声与局限性（评论1，评分None）：作者指出，在潜空间规划时，由于潜变量训练侧重于语义，优化器可能聚焦特定特征而跳过位置信息，导致规划结果噪声大且不具代表性。关键引用："the latent are trained for semantic, so the optimizer can focus a set of specific features and can skip positions"。

2. JEPA模型对特征重要性缺乏区分（评论3，评分None）：评论者认为JEPA虽能区分不可预测噪声与可预测特征，但无法为不同可预测特征分配重要性。例如，模型可能选择95%特征匹配的早期场景，而非真正胜利条件（如HUD像素）。关键引用："the model has no way of assigning importance to different predictable features"；"the model needs to choose between... reaching a relatively achievable scene... vs. reaching a far more difficult to access scene"。

3. 长期规划与目标定义的挑战（评论4，评分None）：评论者指出，将规划分解为中间目标限制了模型控制能力，且目标需在输入空间定义（如马里奥的特定状态），难以处理多状态满足目标的问题。关键引用："chunking the planning stage into a bunch of intermediate goals seems really limiting"；"you have to write the goal in input space. That doesn’t align with all problems"。

4. 目标本质是动作而非位置（评论5，评分None）：评论者认为目标不是绝对位置，而是持续执行特定动作（如按住右方向键）。关键引用："the goal isn’t a place... The goal is an action: to always be in the state of holding the right d-pad button down"。

5. JEPA作为通用编码器的应用（评论7，评分None）：评论者建议JEPA生成的潜变量应输入Transformer，结合用户数据或RL策略训练，但指出垂直位置预测不佳可能影响效果。关键引用："JEPA is really just a generalized encoder, so the JEPA created latents should be fed into a transformer"。

平衡性总结： - 正面观点：评论1、3、4、7均认可JEPA的潜力，但指出其在实际应用中的局限（如噪声、特征重要性、目标定义）。 - 负面/质疑观点：评论3、4、5对JEPA的规划能力、目标设定方式提出具体批评，认为模型缺乏对关键特征的区分能力，且目标定义过于僵化。 - 中立/技术性观点：评论6、8涉及JEPA的扩展应用（如系统监控）和模型特性（如短历史帧数），未直接评价优劣。

关键引用保留（中英文）： - 评论1："the latent are trained for semantic, so the optimizer can focus a set of specific features and can skip positions"（潜变量训练用于语义，优化器可聚焦特定特征而跳过位置）。 - 评论3："the model has no way of assigning importance to different predictable features"（模型无法为不同可预测特征分配重要性）。 - 评论4："chunking the planning stage into a bunch of intermediate goals seems really limiting"（将规划阶段分解为多个中间目标似乎非常受限）。 - 评论5："the goal isn’t a place... The goal is an action"（目标不是位置，而是动作）。