智元机器人正式推出 act2goal 技术方案——这不仅是一项前沿的操作算法升级,更代表了一种“目标驱动、以终为始”的全新智能体认知范式。
据官方介绍,区别于传统机器人按部就班执行预设指令的被动模式,Act2Goal 创新性地构建了“目标导向型世界模型”。该模型赋予机器人前所未有的前瞻性能力:在实际动作发生前,系统已在内部完成从当前状态到目标状态的全因果路径推演。这种将视觉理解与运动控制深度融合的端到端架构,使 Act2Goal 即便面对完全陌生的环境与未知物体,也能展现出卓越的零样本泛化性能。
尤为关键的是,Act2Goal 具备原生的“自我迭代”能力。它无需人类提供显式奖励信号,即可在真实物理交互中实时复盘自身行为序列。实验结果表明,在处理高难度新任务时,仅需数分钟的在线自主优化,其成功率便可由初始的30%跃升至90%。
“所见即所向——让每一次动作,都成为通往目标的确定性一步。”

Act2Goal 的技术内核在于将目标条件世界模型与动作策略生成统一于单一端到端框架之中,从而实现对任务动态演进过程的结构化建模。在每次操作启动前,系统不仅同步感知当前观测与目标描述,还借助世界模型生成一条覆盖多时间尺度的未来视觉轨迹,为动作专家模块提供连续、分层的决策依据。在此机制下,目标不再是一个静态终点,而是一条可感知、可追踪、可校准的动态演化路径,显著增强了长周期操作的鲁棒性与跨场景适应力。该范式带来两大核心突破:
- 长时序任务中的高保真执行与全局一致性:端到端联合建模叠加多尺度时间规划机制,使机器人既能精准完成毫秒级微操,又能始终锚定宏观目标方向;
- 零样本迁移能力与快速场景适配:系统可在未训练过的物体形态、目标构型或干扰密集的真实环境中稳定运行,并依托在线自我增强机制持续进化,大幅提升系统鲁棒性与工程可扩展性。
为兼顾复杂操作中局部精度与整体连贯性,Act2Goal 引入多尺度时域哈希(Multi-Scale Temporal Hashing, MSTH)机制,将整个规划流程解耦为两个协同层级:
- 近端精细段(Proximal):采用高频率连续采样,专注机械臂末端位姿的亚毫米级控制;
- 远端粗粒段(Distal):实施自适应稀疏采样,服务于大范围路径导航与目标空间对齐。
该双轨设计确保机器人在应对多阶段、多约束任务时,既不牺牲操作细节,也不偏离最终意图,有效抑制误差传播与目标漂移。
MSTH 同步赋能世界模型的视觉轨迹预测与动作专家的动作序列生成,形成闭环强化的时序表征体系。

为夯实 Act2Goal 的泛化基础,系统首先依托海量离线示范数据开展模仿学习训练。在此过程中,预训练的世界模型被针对性微调,使其能依据当前与目标状态,生成涵盖多视角、多分辨率的视觉演化轨迹,并严格遵循 MSTH 的时间建模规则;动作生成模块则与世界模型联合优化,通过参考视觉轨迹反向推导出可落地的执行动作。
这种联合训练策略保障了视觉预测不仅具备高度真实性,更能切实转化为可执行策略,为动作规划提供坚实支撑。随后,整个端到端模型进一步通过行为克隆方式进行精细化微调,打通“感知→理解→规划→执行”全链路闭环。经此训练,Act2Goal 已能根据任意初始状态与目标定义,自主推演未来演变路径并输出匹配动作序列,从而获得优异的跨任务泛化能力与长时间操作稳定性。

尽管离线训练赋予了系统较强的先验能力,但在开放真实场景中,面对全新任务组合、非标物体或长链操作失败点时,性能仍可能出现波动。为此,Act2Goal 集成在线自我提升机制,基于回顾性经验重放(HER)实现无监督式性能跃迁。
在任务执行过程中,系统自动记录每一步的状态观测、所选动作及对应反馈,并将原始轨迹重新标记为多样化的目标变体,存入动态回放缓冲区。无论任务是否成功,所有轨迹均可被重采样用于端到端参数更新——仅微调新增的 LoRA 适配层,主干模型全程冻结。这一轻量高效的设计,使机器人得以在零先验条件下快速掌握新技能,在未知环境中稳健运行,真正实现零样本泛化与可持续自主进化,为复杂现实任务提供坚实可靠的技术底座。

Act2Goal 的本质突破,在于重新定义目标条件操作中的一个根本命题:机器人是否真正“理解”从现状走向目标的过程?通过在策略层面显式嵌入目标条件世界模型,并融合多尺度时间建模与深度特征对齐机制,项目团队提出了一种面向具身智能的新一代操作建模范式。“我们坚信,‘先建模世界如何演变,再决定如何行动’这一理念,将成为构建更通用、更可信、更自主机器人系统的基石。”
源码地址:点击下载










