Embodied Agents & World Models · 2026年7月7日
每日论文速递 · Embodied Agents & World Models
💡 一句话:把高层 VLM planning 和低层 VLA execution 用 32 个标准 skill primitives 对齐,重点解决“语义计划”和“可执行动作”之间断层。
📄 每日论文速递 · Embodied Agents & World Models
日期:2026-07-07
1. Cortex:面向长程操作的双向对齐具身 Agent 框架
Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation
🔗 https://arxiv.org/abs/2607.05377
💡 一句话:把高层 VLM planning 和低层 VLA execution 用 32 个标准 skill primitives 对齐,重点解决“语义计划”和“可执行动作”之间断层。
🎯 关联:这篇最值得看。它不是单纯 robot policy,而是在做 embodied agent 的执行接口设计:planner 输出必须是低层 policy 真能吃的 subtask,这和 InternOS 里“任务分解 → 执行器 → 反馈校正”的接口问题高度同构。
2. OmniAct:从孤立技能到日常物理自治的全模态具身 Agent
Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy
🔗 https://arxiv.org/abs/2606.27251
💡 一句话:提出一个分层异步架构,把 cyber 工具、IoT、导航、机械臂操作、memory、verification 和 failure recovery 放到同一个长期自治 loop 里。
🎯 关联:这篇对 Anna 的 AI sandbox / hardware infra 线很有价值,因为它直接讲“长期运行的 agent 不是一个大模型,而是 planning、memory、verification、physical execution 的 orchestration system”。
3. DSWAM:双系统 World Action Foundation Model 做细粒度机器人操作
DSWAM: A Dual-System World Action Foundation Model for Fine-Grained Robot Manipulation
🔗 https://arxiv.org/abs/2607.04927
💡 一句话:把 VLA 的语言级任务分解能力和 WAM 的视频世界模型执行能力合在一起,用 dual-system 方式处理复杂家务操作。
🎯 关联:方向很对:未来 agent 执行层不会只靠 VLA,也不会只靠 world model,而是“语言 planner + action/world simulator”协同;这对 InternOS 的 verifier / executor 分层有直接启发。
4. InternVLA-A1.5:统一理解、潜在预见和动作的 VLA 模型
InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization
🔗 https://arxiv.org/abs/2607.04988
💡 一句话:在 VLM backbone 上保留理解能力,同时用 frozen video generation model 提供 latent foresight,让机器人 policy 能“预想未来”再行动。
🎯 关联:这篇的关键不是又一个 VLA,而是把 video generator 当作 foresight module 接入 action policy;对 agent 平台来说,这就是执行前的 cheap simulation / pre-verification。
5. Ask the World Before Acting:给语言 Agent 的环境探测式 World Model
Ask the World Before Acting: Environment Probing for Calibrated Agent World Models
🔗 https://arxiv.org/abs/2606.31422
💡 一句话:把“行动前是否应该查询环境状态”建模成预算决策问题,用 criticality、staleness、uncertainty、dependency 来决定 probe 哪个 belief。
🎯 关联:这篇非常贴 InternOS:agent 的失败很多不是推理差,而是 belief stale;它给了一个很干净的机制——不要盲目 act,先按成本选择性 probe world state。
6. 移动 GUI Agent 的任务状态表示
A Task-State Representation for Long-Horizon Mobile GUI Agents
🔗 https://arxiv.org/abs/2607.00502
💡 一句话:给长程 GUI agent 加一个外部 task-state wrapper,把全局目标、子目标进度、action verifier 从屏幕 observation 里拆出来维护。
🎯 关联:这篇和 InternOS 的“承诺跟踪 / 状态机 / progress tracker”很近:GUI agent 不是缺 screenshot 理解,而是缺一个稳定的 task-state memory,不然越执行越糊。
7. Worldscape-MoE:统一多种 action control 的 MoE 世界模型
Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control
🔗 https://arxiv.org/abs/2607.03964
💡 一句话:用 Diffusion Transformer + MoE,把 camera trajectory、robot action、hand joint 等异构控制信号吸收到一个统一 world model 里。
🎯 关联:这篇适合从 infra 角度看:未来 embodied sandbox 需要统一 action abstraction,否则每种 body / simulator / device 都是一套孤岛接口。
8. WSA₁:面向泛化机器人控制的 3D World-Spatial-Action 模型
WSA$_1$: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control
🔗 https://arxiv.org/abs/2607.03941
💡 一句话:明确批评当前 robot foundation models 太 2D-centric,提出把 3D world、spatial reasoning 和 action causality 一起建模。
🎯 关联:这篇判断很硬:只靠 2D visual-language representation 做现实执行会卡住,agent 执行层必须有 3D / causal / action-aware 的状态表示。
今日判断
今天的趋势很清楚:embodied agent 正在从“端到端 policy”转向“planner + world model + verifier + memory/state wrapper”的系统架构。
我会重点看 Cortex、OmniAct、Ask the World Before Acting:它们讲的不是单点模型能力,而是 agent 如何在真实/模拟环境里持续执行、检查状态、修正 belief。
VLA 这边也开始往 latent foresight 和 world-action model 靠,说明单纯模仿学习已经不够了,下一步核心是 执行前预测、执行中验证、失败后恢复。