← Work

提升机器人操作吞吐量，只能靠强化学习吗？

14 October 2026 · 14 min read

经常听到一种说法：要提升机器人操作（manipulation）任务的吞吐量，唯一的办法是强化学习。顺着它还有一个更强的版本：强化学习是机器人从部署经验里持续变好的基本答案。两句话听起来都对，但都值得拆开看。这篇先从吞吐量由什么决定说起，看强化学习到底作用在哪几项上；再去文献里核对第二个说法，看它是已经被奠定的结论，还是一个正在形成的方向。

先说结论：两个都不是。强化学习是吞吐量的一个重要杠杆，主要作用在成功率和超越示教者速度这两项上，但很多吞吐量问题根本不需要它。至于从部署中持续变好，逻辑上确实指向某种基于结果的学习信号，2025 到 2026 年也开始出现真实机器人上的证据，但它还不是行业共识。人工介入式的模仿学习一直在做同样的事，而且在少数正面对比里，差距没有想象中大。

一、先把吞吐量拆开

单个工位做出一个成功件的期望耗时，可以近似写成：（单次周期时间 c ＋ 失败率 × 每次失败的恢复代价 r）÷ 成功率 p。再乘上设备可用率和并行的机器人数量，就是整体产出。

这个式子有一个常被低估的含义：当失败要靠人来复位时，成功率往往比速度更值钱。设 c = 10 秒、r = 60 秒，把成功率从 90% 提到 99%，每件耗时从约 17.8 秒降到 10.7 秒；而保持 90% 的成功率、把动作速度翻倍（c = 5 秒），只降到约 12.2 秒。反过来，如果失败可以自动、低成本地重试，r 很小，速度才是主要矛盾。所以第一步应该是给一个真实周期分段计时，看时间到底花在自由空间移动、等待推理、接触阶段、失败重试还是人工介入上。

二、不靠强化学习的杠杆

周期时间里有大量浪费与策略本身无关。第一类是推理空等：一个动作块（action chunk）执行完再等下一次推理，会产生明显的停顿。Physical Intelligence 提出的 real-time chunking 在执行当前动作块时就生成下一个，并让新旧动作平滑衔接，在超过 300 毫秒的推理延迟下仍能稳定运行，同一动作比同步推理快约 20%；再加上采样步数更少的 flow 或 consistency 策略、蒸馏和量化，这部分时间可以直接砍掉。

第二类是示教本身就慢，因为遥操作有延迟、没有力反馈，操作员也会下意识放慢。DemoSpeedup 用策略的动作熵判断哪些段落需要精细控制，只对高熵、不精细的段落做时间压缩，训练出的策略最多快约 3 倍而任务完成率不降；SAIL 从推理、轨迹跟踪、自适应调速和延迟调度一起改，在仿真里最多比示教快 4 倍，真机上最多 3.2 倍。两者都没有更换学习范式。

第三类是任务拆分。一个周期里常有大段时间花在自由空间搬运上，这部分不需要学习，交给经典运动规划加时间最优的轨迹参数化（如 TOPP-RA）就能跑到硬件极限，学习策略只负责感知、抓取选择和接触密集的那一小段。控制层也有空间，阻抗或导纳控制让机器人可以带着柔顺性快速接近和接触，而不是为了避免冲击慢慢挪过去。

成功率方面，很多失败也能在模仿学习的框架内解决：围绕失败模式定向补数据；让人在线接管纠正，用 HG-DAgger 这类交互式模仿收集恢复动作；加腕部相机和力觉、触觉传感器，因为不少失败本质上是看不清或感觉不到；再做失败检测和快速重试，这常常比追求单次完美更划算。

再往外一层是系统工程，这也是传统工业自动化获得高吞吐的主要方式。用治具和规整的来料摆放消掉变化，从根上降低任务难度；改末端执行器，很多抓取难题换成吸盘、柔顺指或加一个换枪就消失了；把感知规划和执行流水化，双臂分工，多站并行；在运营上提高平均无故障时间、缩短复位时间，让一个人远程兜底多台机器人。这些都不碰策略，却直接决定每人每小时的有效产出。

三、强化学习真正不可替代的地方

有三种情况，强化学习很难被替代。第一，成功率卡在八九成上不去，剩下的失败来自精细接触，比如插装、对孔、柔性物体。示教本身带噪声、不一致，数据再多也只是学到一种平均化的犹豫，在线强化学习则能借真实的接触反馈把最后一截补上。第二，想要超越人类示教者的速度或策略，比如甩、滑、借力这类利用动力学的动作，人在遥操作时根本做不出来。第三，想让系统在长期部署中从自己的经验里持续变好，这一点下一节会仔细核对。

公开结果里，HIL-SERL 用 1 到 2.5 小时的真机训练，在几乎所有任务上达到接近满分的成功率，和用同样数量人类数据训练的模仿学习相比，成功率平均提升 101%，周期时间平均快 1.8 倍。Physical Intelligence 的 π*0.6 用 Recap 方法在自主经验上训练，称在最难的一些任务上吞吐量提升两倍以上，失败率降低一半或更多。这些提升里相当一部分来自失败率下降，而不只是动作变快，和第一节的式子一致。

成本也要算进去：奖励和成功判定要设计，需要复位机制，要处理真实环境里的安全约束，每个任务往往单独训练，精调后的策略也容易过拟合到特定工位、损失泛化。所以它对单一的高产量工位很划算，对多品种、小批量的场景就未必。

还有一点容易被忽略：强化学习和模仿学习之间的边界其实很模糊。只挑最快、最成功的示教来训练（filtered BC），按优势加权或让策略以优势为条件，用学到的价值函数从几个候选动作里挑一个，这些做法都只需要一个成功或耗时的标签，比完整的在线强化学习便宜得多，却已经引入了超越模仿的信号，Recap 就更接近这条路线。更准确的说法是：想超越示教者，需要某种超越模仿的目标信号，而在线强化学习是这种信号里最强、也最贵的一种。

四、强化学习是从部署经验中持续变好的基本答案吗

两种 OOD

这个问题常和 OOD（分布外）问题连在一起，但这里有两种 OOD，答案不一样。

第一种是策略自己犯错造成的分布漂移。这一点有奠基性的论文：Ross、Gordon 和 Bagnell 2011 年的 DAgger 证明，行为克隆在专家状态上每步错误率为 ε 时，在自己的轨迹上最多会累积到 T²ε 量级的错误，因为一旦偏离，它就进入了示教里从没出现过的状态。但这篇论文给的解法不是强化学习，而是让策略自己运行，在它实际到达的状态上请专家补标注，再聚合训练。所以它奠定的结论是必须在策略自己的状态分布上收集数据，而不是必须用强化学习。强化学习也能解决这个问题，因为它本来就在自己的分布上学习，区别只是监督信号从正确的动作是什么，换成了结果好不好。

第二种是真正没见过的物体、场景和任务，即泛化意义上的 OOD。部署中的强化学习只改善实际遇到的那部分分布，而且它依赖的奖励模型或成功检测器本身也要在新场景里判断可靠，这又是一个 OOD 问题。目前较系统的证据来自清华团队的 What Can RL Bring to VLA Generalization（NeurIPS 2025）：在仿真里用 PPO 微调 OpenVLA，与 SFT 相比，执行层面的鲁棒性大幅提升，语义层面中等提升，视觉层面持平，在未见过的物体和桌面上高出 42.6%。但这是仿真里单一模型的结果，不能直接推到真实部署。

文献怎么说

理论和立场层面，Sutton 与 Barto 的教材把强化学习定义为从交互中学习，这是从经验中改进就等于强化学习这个直觉的源头，但它是定义而不是经验结论。Silver 与 Sutton 2025 年的 Welcome to the Era of Experience 是最直接主张下一阶段靠智能体从自身经验学习的文章，分量很重，但属于立场文章，没有机器人上的实证。更早的 Thrun 与 Mitchell 1995 年的 Lifelong Robot Learning 把机器人终身学习作为问题提了出来，关注的是跨任务的知识迁移，并没有论证强化学习是答案。

真实机器人强化学习的早期证据中，QT-Opt（Google，CoRL 2018）用 58 万次真实抓取训练，在未见物体上达到 96% 的抓取成功率，还自发学会了重抓、试探和挪动物体，是真实世界强化学习能涌现出示教中没有的闭环策略最常被引用的证据，但任务只有抓取。Google 团队 2021 年在 IJRR 上总结真实机器人强化学习的经验时，也列出了大量尚未解决的难题。最权威的盘点是 Tang、Martín-Martín、Stone 等人的综述 Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes，它的结论偏向反面：深度强化学习的成熟度在不同能力上差异很大，四足行走最成熟，部分操作任务较成熟，移动操作和人机交互不成熟；成熟方案大多依赖 sim-to-real，而不是部署中在线学习；开放问题包括样本效率和安全的真实世界数据采集。这篇综述并不支持强化学习已经是部署中持续改进的标准答案。

2025 到 2026 年，开始出现直接支持从部署中做强化学习的工作。π*0.6 / Recap（2025 年 11 月）用价值函数给动作打优势，再让 VLA 以优势为条件生成动作，不过它本身混合了人工接管纠正和自主经验，数字也是公司自报。Self-Improving Embodied Foundation Models（Google DeepMind，NeurIPS 2025）用 steps-to-go 预测器推出奖励和成功检测器，让机器人群在少量监督下自己练习，结论是这比继续采集模仿数据更省样本。Learning While Deploying（智元 AgiBot Finch 与上海创智学院，2026 年 5 月首发）在 16 台双臂机器人、8 个真实任务上，从预训练 VLA 出发做离线到在线的强化学习，平均成功率为 SFT 0.76、RECAP 0.85、HG-DAgger 0.85、离线版 0.88、在线版 0.95。这是目前最接近正面对比的数据，但有两点值得注意：人工介入式的 HG-DAgger 和 RECAP 打平，只有完整的在线强化学习拉开了差距；而且这是作者为自己方法做的单实验室实验，还没有独立复现。

同时，不靠强化学习、同样从部署中持续改进的路线一直存在。Fleet-DAgger（Berkeley，CoRL 2022）让一群机器人共享一个策略，少数人按优先级去接管最需要帮助的机器人，所有介入数据回流训练。Sirius（UT Austin，RSS 2023）在部署中做人机分工，用介入信号给数据加权做行为克隆，真机成功率提升 27%。RoboCat（DeepMind，2023）用微调后的策略自己生成数据，再训练通用模型，本质是自我蒸馏式的模仿。SOAR（Berkeley，CoRL 2024）用视觉语言模型提议任务、判断成功，在自主采集的数据上用自监督目标训练，没有用强化学习，真实环境中性能显著提升。规模最大的部署中持续改进其实来自自动驾驶：按 2017 到 2020 年对 Tesla data engine 的公开描述，它靠影子模式、触发器和人工审核挑出分歧场景，再用监督学习和模仿学习迭代，并不是强化学习。

修正后的说法

综合下来，更准确的表述是：想在不持续追加人工示教的前提下，让系统从部署经验中持续改进、甚至超越示教者，就需要一种基于结果的学习信号。强化学习，包括价值函数、优势加权这些广义形式，是目前最直接的框架，近一年也开始有真实机器人上的证据。但人工介入式的模仿学习同样能从部署中持续改进，已有对比里差距不大，实际系统大多是两者的混合。

这里真正站得住的是一条逻辑论证，而不是经验共识。模仿学习的监督信号是正确的动作，必须由人或专家提供，所以改进速度受人工带宽限制，上限是示教者；强化学习的监督信号是结果的好坏，可以由成功检测器、steps-to-go 或价值函数自动产生，所以原则上能随部署规模扩展，也能超越示教者。头部实验室押注强化学习，押的就是这条论证。但自动奖励能否在 OOD 场景里保持可靠，真实世界强化学习的样本效率和安全性如何保证，这些问题都还没有解决，证据也集中在少数实验室的自报结果上。所以把它说成一个正在形成的主流方向比较准确，说它已是定论还为时过早。

五、一个实用的顺序

如果目标是提升某个具体工位的吞吐量，比较稳妥的顺序是：先给真实周期分段计时；先拿掉不需要学习的时间，包括推理空等、自由空间运动和低精度段落的提速；再处理能靠数据、传感、工装和重试机制解决的那部分成功率问题；最后，如果剩下的瓶颈确实是精细接触，或者需要超越示教者的策略，再上强化学习，并且先考虑离线、价值引导这类便宜的形式，最后才是完整的在线强化学习。

参考文献

本文根据 2026 年 10 月 14 日与 Claude 的一次调研对话整理，文献检索截至当日。