从 Computer-Use 到 Robot-Use：一套接口让 VLM 直接「玩转」真实机器人

新加坡国立大学 Showlab 团队提出 Show-Harness 方案，设计出一套介于视觉语言模型与机器人控制之间的语义动作接口，无需让模型直接输出底层连续控制量，而是将动作转化为模型可读可推理的语义单元，再由不同机器人的专属解释器映射为符合安全约束的本地控制命令，形成感知-推理-执行的持续闭环。团队还配套构建了 GUMI 图形化操控界面，统一了人类遥操作、网页端 Agent 控制、VLM 直接控制的动作语义，可便捷采集跨平台的演示数据。该方案无需微调即可让闭源前沿 VLM 零样本适配真实机器人闭环，小型开源 VLM 仅需微调少量参数就能完成轻量适配，且同一接口可跨不同机器人本体、任务与环境使用，在真机实验的跨任务、跨环境、跨本体三类泛化测试中均取得远高于传统基线的成功率，同时在仿真到真实迁移、物理与语义适应性测试中也表现突出。相关研究表明清晰稳定的语义-物理效果约定是接口实现动作落地的核心，该思路为基座智能从数字世界延伸到物理具身系统提供了新的接口范式。