Embodied Agents & World Models · 2026年7月14日
每日论文速递 · Embodied Agents & World Models
💡 一句话:把机器人 agent 的 reasoning、memory、tool use、skill execution、multi-stage verification 和 edge-cloud collaboration 抽成一个运行时层,而不是继续只卷低层 VLA policy。
📄 每日论文速递 · Embodied Agents & World Models
日期:2026-07-14
1. ABot-AgentOS:带终身多模态记忆的通用机器人 Agent OS
ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory
🔗 https://arxiv.org/abs/2607.10350
💡 一句话:把机器人 agent 的 reasoning、memory、tool use、skill execution、multi-stage verification 和 edge-cloud collaboration 抽成一个运行时层,而不是继续只卷低层 VLA policy。
🎯 关联:这篇最值得 Anna 看。它和 InternOS 的方向非常近:不是“一个更聪明的模型”,而是 agent 执行系统里的记忆、隔离、验证、技能调度、跨设备协作层。
2. VIA:用于机器人控制的视觉界面 Agent
VIA: Visual Interface Agent for Robot Control
🔗 https://arxiv.org/abs/2607.11119
💡 一句话:不直接把 foundation model 微调成低层动作输出器,而是让强 VLM/FM 通过 visual interface 参与机器人感知、规划和闭环控制。
🎯 关联:这条路线很关键:未来 agent execution layer 未必是“LLM 直接吐动作”,更可能是模型通过受控 interface 操作专门的 controller/skill runtime。
3. 分布式 Agent 系统:具身 Agent 间的容错协作
Distributed Agent System: Fault-Tolerant Collaboration Among Embodied Agents
🔗 https://arxiv.org/abs/2607.10811
💡 一句话:把 embodied agent 的可靠性从“单个模型少犯错”转成“device-edge-cloud 多 agent 系统的 fault tolerance”。
🎯 关联:这对 InternOS 和 AI sandbox/hardware infra 都有启发:真实 agent 系统的核心不是 prompt engineering,而是资源受限、网络不稳、组件会错时,系统怎么降级、重试、转移和协作。
4. Traj-VLN:通过自回归轨迹生成学习像素空间交互
Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation
🔗 https://arxiv.org/abs/2607.10744
💡 一句话:面向 Vision-and-Language Navigation,让 embodied agent 按自然语言在未知连续环境中生成可执行导航轨迹。
🎯 关联:这是典型“language goal → environment perception → trajectory/action → feedback”的 agent loop,比单纯 3D perception 更贴近 Anna 关心的执行闭环。
5. WALA:从有动作标注示范和无动作视频中学习可执行潜动作
WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos
🔗 https://arxiv.org/abs/2607.11397
💡 一句话:用大量无动作标签的人类/机器人视频学习 latent action,再接到可执行机器人策略上,缓解 robot demo 太贵的问题。
🎯 关联:对未来 agent 很重要:环境经验不一定都要人工标注成 action trace,可以从 observation transition 里学“可执行的中间动作表示”。
6. 像机器人一样看:面向 VLA 的机器人中心 Pointmaps
See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models
🔗 https://arxiv.org/abs/2607.11498
💡 一句话:指出 VLA 的视觉输入常在 camera frame,而动作定义在 robot frame;用 robot-centric pointmaps 减少坐标系错配,提高跨视角泛化。
🎯 关联:这篇是执行层的硬问题:agent 不是“看懂图”就能动,必须把 perception representation 对齐到 action space。对 sandbox/硬件抽象也有启发。
7. MAG:用于多模态动作与引导生成的 Web-Agent Benchmark 和 Harness
MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation
🔗 https://arxiv.org/abs/2607.10079
💡 一句话:把 web agent 的动作执行和用户引导生成放到同一个多模态 harness 里评估,而不是只看 DOM/text-based 操作。
🎯 关联:这和 GUI/web agent 执行层直接相关:真实 computer-use agent 必须处理 rendered screen、跨页面状态变化、动作序列和解释/引导,而不是只做网页问答。
8. DeepSearch-World:在可验证环境中做 Deep Search Agent 自蒸馏
DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment
🔗 https://arxiv.org/abs/2607.07820
💡 一句话:构造可复现、可验证的搜索/读页环境,让 web agent 从自己的成功经验中 self-distill,提升长程工具使用能力。
🎯 关联:这篇不是物理 embodied,但对 Anna 的 agent 平台很有价值:generator + verifier + environment trace + self-improvement loop,是 InternOS 以后做任务执行学习的标准形态。
今日判断
今天的信号很明确:embodied/agent 方向正在从“单模型能力”转向“运行时系统 + 可验证执行 + 环境反馈”。机器人这边在补 VLA 的 action-space 对齐、latent action、world-action model;GUI/web 这边在补可验证环境、自蒸馏和多模态 execution harness。Anna 该重点盯 AgentOS / verification / memory / execution interface 这条线,它比单纯追某个 VLA backbone 更接近未来 agent infra 的核心。