先判断,应该放在哪里
用 RoboPoint 数据微调小型视觉语言模型,让它直接输出图像坐标。
在 Where2Place 的真实照片上,用人工标注的可放置区域计算点命中率。专门检查左右互换、多件同类物体、桌面拥挤三种情况。
从适合起步的空间定位,到面向推理优化的 Token 压缩。找到你的切入点,再把理解与动作连接起来。
用同一张桌面图,只改变左右指令,观察目标坐标与最终放置位置是否同步改变。
关注“看起来完成,松爪后却掉落”的关键瞬间,让视频判断真正改善任务完成率。
动作训练会不会损伤看图能力?保留问答训练,能否帮助机械臂理解新指令?
抽屉只拉开一条缝时,是继续塞碗,还是检查现场、修正计划再行动?
少看一些图像能节省计算,但删掉关键小物体,问答可能答对,机器人却会抓空。
以下为项目设计与验收方案,非已完成成果展示。实验指标需实际测量。
给模型一张杂乱桌面的图,要求“把积木放到杯子左边的空位”。同一张图再把指令改成“右边”,看模型指出的位置和机械臂最终放置的位置是否一起改变。
同一张图,换成“右边”,它会一起改变判断与动作吗?
用 RoboPoint 数据微调小型视觉语言模型,让它直接输出图像坐标。
在 Where2Place 的真实照片上,用人工标注的可放置区域计算点命中率。专门检查左右互换、多件同类物体、桌面拥挤三种情况。
在仿真桌面上训练一个接收“图像+指令+目标点”的放置策略。
对同一初态分别输入模型预测点和正确目标点,比较最终放置成功率。这样能解释失败究竟来自“看错位置”,还是“位置选对了却没放稳”。
再加入“左边 ↔ 右边”的同图指令对照,检查定位与动作的一致性。
失败来自看错位置,还是选对位置却没放稳?
给模型看一段机械臂视频,问“碗已经稳稳放进抽屉了吗?”最有价值的样本是:上一刻看起来已经完成,松爪后碗却掉了。这个项目可以独立展示视频理解能力,也能接入机器人策略。
上一刻看起来已经完成,松爪之后,碗却掉了。
用仿真生成成功、提前停止、放错物体、松爪掉落的视频。比较只看最后一帧、按序看多帧、打乱同一组帧三种输入。
在公开 RoboVQA 的真实视频成功判断任务上额外测试,重点报告把失败误判为成功的比例。训练和测试按整条轨迹划分。
固定底层操作策略,让视频模型决定停止、继续观察或触发重试。
在相同动作步数和重试预算下,报告整条任务成功率、误重试率。由此能回答一个面试追问:视频判断更准以后,机器人实际多完成了多少任务?
按整条轨迹划分训练和测试;策略对照保持动作步数与重试预算相同。
视频判断更准之后,机器人实际多完成了多少任务?
研究一个两边岗位都会关心的问题:给视觉语言模型加上动作训练后,它还能不能看懂图?反过来,保留视觉问答训练,能不能让机械臂更好地执行新指令?
把通用视觉理解和机器人操作,放在同一套训练与验收里。
从保留文本输出能力的小型 VLM 出发,例如 SmolVLM2-500M,另加一个预测连续动作的动作头。
准备两类数据:图像+问题→文本答案,机器人图像+指令→未来动作。仿真先选两个任务,例如按空间关系选碗、按物体名称分拣。
比较原始 VLM、只做动作微调、问答与动作混合训练。后两组保持机器人训练样本曝光量一致,另记总训练成本。
交付一张表,同时列出通用问答准确率、空间定位命中率、机械臂任务成功率。即使混合训练只保住了问答能力、没有提升操作成功率,这也是能清楚解释的实验结果。
后两组机器人训练样本曝光量保持一致;混合问答带来的额外总训练成本单独记录。
| 训练方案 | 通用问答准确率 | 空间定位命中率 | 机械臂任务成功率 | 总训练成本 |
|---|---|---|---|---|
| 原始 VLM | 待测 | 待测 | 不适用¹ | 基线 / 记录成本 |
| 只做动作微调 | 待测 | 待测 | 待测 | 待记录 |
| 问答+动作混合训练 | 待测 | 待测 | 待测 | 待记录 |
¹ 原始 VLM 没有动作头,不直接执行机器人任务。后两组机器人样本曝光量一致,额外问答训练成本单独记录。
保住问答能力,即使没有操作增益,也是一项可解释的结果。
给机器人一条总指令,例如“把碗收进抽屉,再关上抽屉”。最值得测试的情形是:第一次拉抽屉只拉开了一条缝,模型会继续往里塞碗,还是先检查并重新开抽屉?
第一次只拉开了一条缝:继续往里塞,还是先重新开抽屉?
让模型根据当前画面提出下一个可执行子任务,并在执行后判断是否满足进入下一步的条件。
记录选错子目标、过早切换、重复执行三类错误。RoboCerebra 提供了适合做这种分层实验的任务和评测代码。
固定同一个底层操作策略,对比一次性生成全部计划、每步看图重规划、提供参考子目标三种方案。
在相同初态和步数预算下,报告完整任务成功率、平均完成步骤数、扰动后恢复率。参考子目标那一组能帮助判断,瓶颈在上层规划还是底层动作。
保持初态与步数预算一致,参考子目标组用于定位规划与动作的瓶颈。
任务失败的瓶颈,在上层规划,还是底层动作?
让模型少看一部分图像区域可以节省计算,但如果删掉了夹爪旁边的小物体,问答可能仍然答对,机器人却会抓空。这个项目研究节省多少计算,分别会损失多少理解和控制能力。
如果删掉夹爪旁的小物体,答案也许正确,机械臂却会抓空。
在相同硬件上比较完整视觉输入、均匀保留部分图像块、优先保留与指令目标或夹爪相关的图像块。
先固定保留比例,验证“保留哪里”是否真的重要,再调整压缩率。
VLM 测小物体定位或空间问答准确率,VLA 测仿真抓取成功率,同时记录端到端 P95 延迟和峰值显存,把筛选图像块本身的耗时也算进去。
普通桌面 GPU 就能做这项比较,报告中写清设备和输入分辨率。
先固定保留比例再扫描压缩率;端到端耗时必须包含图像块筛选,并记录设备与输入分辨率。
省下多少计算,分别损失了多少理解与控制能力?