具身智能 · 算法项目指南 · 2026

VLM × VLA
算法项目

从视觉理解,到机器人行动。

围绕空间定位、视频理解、联合后训练、反馈规划与推理优化,构建可评测、可解释的研究闭环。五个方向,同时连接视觉语言与机器人算法岗位。

白色机械臂将红色积木放在杯子旁的概念配图
VLM · 理解与定位图像+指令 → 目标位置
VLA · 执行与反馈目标位置 → 机器人动作
CONCEPT VISUAL · 概念示意,非实验截图
05个核心研究项目
02条VLM / VLA 能力主线
同初态公平的实验对照
闭环理解 → 行动 → 评测
PROJECT 01 · SPATIAL GROUNDING

空间指令理解与机械臂定点放置

最适合起步
RoboPointWhere2Place空间定位

给模型一张杂乱桌面的图,要求“把积木放到杯子左边的空位”。同一张图再把指令改成“右边”,看模型指出的位置和机械臂最终放置的位置是否一起改变。

一个值得验证的问题
把积木放到杯子左边的空位。

同一张图,换成“右边”,它会一起改变判断与动作吗?

VLM视觉语言模型

先判断,应该放在哪里

用 RoboPoint 数据微调小型视觉语言模型,让它直接输出图像坐标。

在 Where2Place 的真实照片上,用人工标注的可放置区域计算点命中率。专门检查左右互换、多件同类物体、桌面拥挤三种情况。

VLA视觉语言动作模型

再执行,能否准确放稳

在仿真桌面上训练一个接收“图像+指令+目标点”的放置策略。

对同一初态分别输入模型预测点和正确目标点,比较最终放置成功率。这样能解释失败究竟来自“看错位置”,还是“位置选对了却没放稳”。

实验闭环

01桌面图像+空间指令
02VLM 输出目标坐标
03VLA 执行放置
04拆解理解与动作错误

同一初态,两种目标点

A模型预测点B正确目标点

再加入“左边 ↔ 右边”的同图指令对照,检查定位与动作的一致性。

关键验收指标

点命中率最终放置成功率左右指令一致性
可解释结论

失败来自看错位置,还是选对位置却没放稳?

PROJECT 02 · VIDEO UNDERSTANDING

操作视频理解与失败检测

最适合兼投通用 VLM
RoboVQA时序理解失败检测

给模型看一段机械臂视频,问“碗已经稳稳放进抽屉了吗?”最有价值的样本是:上一刻看起来已经完成,松爪后碗却掉了。这个项目可以独立展示视频理解能力,也能接入机器人策略。

一个值得验证的问题
碗已经稳稳放进抽屉了吗?

上一刻看起来已经完成,松爪之后,碗却掉了。

VLM视觉语言模型

用时序证据识别真实成败

用仿真生成成功、提前停止、放错物体、松爪掉落的视频。比较只看最后一帧、按序看多帧、打乱同一组帧三种输入。

在公开 RoboVQA 的真实视频成功判断任务上额外测试,重点报告把失败误判为成功的比例。训练和测试按整条轨迹划分。

VLA策略决策闭环

让判断决定停止、观察与重试

固定底层操作策略,让视频模型决定停止、继续观察或触发重试。

在相同动作步数和重试预算下,报告整条任务成功率、误重试率。由此能回答一个面试追问:视频判断更准以后,机器人实际多完成了多少任务?

实验闭环

01成功与失败轨迹
02视频成败判断
03停止/观察/重试
04完整任务成功率

同一组帧,三种观察方式

A只看最后一帧B按序看多帧C打乱同一组帧

按整条轨迹划分训练和测试;策略对照保持动作步数与重试预算相同。

关键验收指标

失败误判为成功比例整条任务成功率误重试率
可解释结论

视频判断更准之后,机器人实际多完成了多少任务?

PROJECT 03 · JOINT POST-TRAINING

视觉问答与机器人动作联合后训练

最适合做双投主项目
SmolVLM2-500M动作头混合训练

研究一个两边岗位都会关心的问题:给视觉语言模型加上动作训练后,它还能不能看懂图?反过来,保留视觉问答训练,能不能让机械臂更好地执行新指令?

一个值得验证的问题
学会了行动,还能看懂图吗?

把通用视觉理解和机器人操作,放在同一套训练与验收里。

TRAIN怎么做

一个主干,两类训练数据

从保留文本输出能力的小型 VLM 出发,例如 SmolVLM2-500M,另加一个预测连续动作的动作头。

准备两类数据:图像+问题→文本答案,机器人图像+指令→未来动作。仿真先选两个任务,例如按空间关系选碗、按物体名称分拣。

EVAL怎么验收

同时观察理解、定位与操作

比较原始 VLM、只做动作微调、问答与动作混合训练。后两组保持机器人训练样本曝光量一致,另记总训练成本。

交付一张表,同时列出通用问答准确率、空间定位命中率、机械臂任务成功率。即使混合训练只保住了问答能力、没有提升操作成功率,这也是能清楚解释的实验结果。

实验闭环

01小型 VLM+动作头
02问答与动作数据
03三组训练方案
04能力与成本统一验收

三组方案,机器人数据曝光量对齐

A原始 VLMB只做动作微调C问答+动作混合训练

后两组机器人训练样本曝光量保持一致;混合问答带来的额外总训练成本单独记录。

关键验收指标

通用问答准确率空间定位命中率机械臂任务成功率总训练成本

统一结果表 · 交付模板

实验结果待实测填写,不代表已完成的性能数据
联合后训练三组方案的验收指标模板
训练方案通用问答准确率空间定位命中率机械臂任务成功率总训练成本
原始 VLM待测待测不适用¹基线 / 记录成本
只做动作微调待测待测待测待记录
问答+动作混合训练待测待测待测待记录

¹ 原始 VLM 没有动作头,不直接执行机器人任务。后两组机器人样本曝光量一致,额外问答训练成本单独记录。

可解释结论

保住问答能力,即使没有操作增益,也是一项可解释的结果。

PROJECT 04 · CLOSED-LOOP PLANNING

长程任务规划与视觉反馈重规划

最适合具身智能体岗
RoboCerebra子任务规划视觉反馈

给机器人一条总指令,例如“把碗收进抽屉,再关上抽屉”。最值得测试的情形是:第一次拉抽屉只拉开了一条缝,模型会继续往里塞碗,还是先检查并重新开抽屉?

一个值得验证的问题
把碗收进抽屉,再关上抽屉。

第一次只拉开了一条缝:继续往里塞,还是先重新开抽屉?

VLM上层规划与判断

每一步都检查进入下一步的条件

让模型根据当前画面提出下一个可执行子任务,并在执行后判断是否满足进入下一步的条件。

记录选错子目标、过早切换、重复执行三类错误。RoboCerebra 提供了适合做这种分层实验的任务和评测代码。

VLA固定底层操作策略

分清规划瓶颈和动作瓶颈

固定同一个底层操作策略,对比一次性生成全部计划、每步看图重规划、提供参考子目标三种方案。

在相同初态和步数预算下,报告完整任务成功率、平均完成步骤数、扰动后恢复率。参考子目标那一组能帮助判断,瓶颈在上层规划还是底层动作。

实验闭环

01总指令+当前画面
02提出可执行子任务
03执行后视觉检查
04继续或反馈重规划

同一底层策略,三种上层计划

A一次性生成全部计划B每步看图重规划C提供参考子目标

保持初态与步数预算一致,参考子目标组用于定位规划与动作的瓶颈。

关键验收指标

完整任务成功率平均完成步骤数扰动后恢复率
可解释结论

任务失败的瓶颈,在上层规划,还是底层动作?

PROJECT 05 · VISUAL TOKEN COMPRESSION

面向 VLM 与 VLA 的视觉 Token 压缩

最适合推理优化岗
Token 剪枝P95 延迟显存优化

让模型少看一部分图像区域可以节省计算,但如果删掉了夹爪旁边的小物体,问答可能仍然答对,机器人却会抓空。这个项目研究节省多少计算,分别会损失多少理解和控制能力。

一个值得验证的问题
看得更少,能不能做得一样好?

如果删掉夹爪旁的小物体,答案也许正确,机械臂却会抓空。

TRAIN怎么做

先比较保留哪里,再调整保留多少

在相同硬件上比较完整视觉输入、均匀保留部分图像块、优先保留与指令目标或夹爪相关的图像块。

先固定保留比例,验证“保留哪里”是否真的重要,再调整压缩率。

EVAL怎么验收

同时报告理解、控制和推理开销

VLM 测小物体定位或空间问答准确率,VLA 测仿真抓取成功率,同时记录端到端 P95 延迟和峰值显存,把筛选图像块本身的耗时也算进去。

普通桌面 GPU 就能做这项比较,报告中写清设备和输入分辨率。

实验闭环

01完整视觉输入
02按策略筛选图像块
03VLM 理解/VLA 抓取
04准确率与开销权衡

同一硬件,三种视觉输入策略

A完整视觉输入B均匀保留部分图像块C目标/夹爪相关优先

先固定保留比例再扫描压缩率;端到端耗时必须包含图像块筛选,并记录设备与输入分辨率。

关键验收指标

小物体定位/空间问答准确率仿真抓取成功率端到端 P95 延迟峰值显存
可解释结论

省下多少计算,分别损失了多少理解与控制能力?