AI 产品

Patch Policy：让Transformer策略直接利用密集视觉令牌进行机器人操作

研究团队提出Patch Policy，这是一种最小化的架构扩展，允许基于Transformer的策略直接处理密集视觉令牌，而无需依赖十亿参数的视觉语言模型。该方法在机器人操作任务中表现优于参数量为其140倍以上的微调VLA模型，在参数量仅占约0.7%的情况下实现了18%的性能提升，从而支持更稳健、精确的操作。这揭示了预训练视觉Transformer模型（ViTs）能捕捉丰富、密集的视觉细节，而传统策略常将其压缩为单一向量导致信息损失。该研究目前处于学术讨论阶段，尚未经过大规模实际验证。

多来源证据

事件时间线

1. 7月23日 03:49
   Twitter/X AI List
   预训练ViT以丰富、密集的细节感知世界。大多数策略在行动前将其聚合为单一向量，丢弃了大部分信息。