机器人训练不仅缺视频,还缺能用于学习的时间段、动作描述和质量判断。FLORA 提供分段、描述与奖励标注模型,把人类或机器人长视频转换成监督信号;它不是直接控制机器人完成任务的策略。论文经 Hugging Face Daily Papers 精选进入本期,本轮阅读的是 v1。
系统先对重叠窗口定位动作,再把跨窗口的区间接起来,结合相邻画面描述意图。另一个模型判断执行质量,可以给整段结果评分,也可以标出局部正常、次优或失败。比如“把花插进花瓶”描述的是正在尝试的动作,并不自动意味着插入成功;抓取松脱也可能只发生在一次尝试的中间,需要保留时间位置。
在 WGO-Bench 的100段视频上,FLORA 的分段 F1 为50.3%,领先所比较系统;同时要求时间与描述都匹配的联合 F1 为34.5%,低于 Astra 的39.0%。因此优势不能写成所有指标领先。作者另建的失败标注评测有40段视频、4,861个时间步,这些时间步也不是数千个彼此独立的任务。
论文还给出约125倍的标注成本优势,但附录揭示它是估算:在50段视频子集上,按八张 GB300、每 GPU 小时10美元和假定吞吐计算约0.72美元每视频小时,再与 API 已知用量费用比较。生产 GPU 工时分母尚未核实,部分 API 用量缺失,参考标签版本也未完全一致;这个数字不能当作实测生产账单。