当你第一次学习骑自行车时，颠仆并不料味着此次锻真金不怕火毫无价值。相背，每一次失败齐能告诉你那处作念得分歧，下次应该若何调度。复旦大学、同济大学和上海创新议论院的议论团队最近发表了一项冲突性议论，他们开发了一种名为"自参考战略优化"（SRPO）的新本领，让AI机器东谈主也能像东谈主类一样从失败中学习。这项议论由费森宇、王想音等议论者指导，发表于2025年11月的arXiv预印本平台，论文编号为2511.15605v1。

在传统的机器东谈主教诲中，就像一个严厉的敦厚只给学生打分数而不明释错在那处一样，AI系统往往只可从生效的示例中学习，而那些失败的尝试就被约略地丢弃了。这就好比你在学作念菜时，只须竣工的菜谱可以参考，而所有这个词作念砸的经验齐被看成垃圾扔掉。这种作念法剖析浪费了大齐贵重的学习契机。

SRPO本领的中枢创新在于它约略让AI机器东谈主像一个善于反想的学生一样，通过比较我方的失败尝试与生效警戒，找出其中的差距并从中学习。议论团队高深地使用了一种"寰球模子"的潜在暗示，就像给机器东谈主配备了一副特殊的眼镜，让它约略更好地领会和比较不同的行为模式。

一、传统步调的逆境：只看收尾不看过程的学习面容

刻下的视觉-谈话-动作（VLA）模子在机器东谈主操作方面发达出色，但它们靠近着一个根人道问题：过度依赖大众演示。这就像一个学生只可通过不雅看敦厚的竣工示范来学习，而无法从我方的失实中获取警戒。这种学习面容不仅禁止了AI的创新智商，还导致了"演示偏差"问题，使得机器东谈主难以卓越东谈主类教师的水平。

为了处罚这个问题，议论东谈主员着手尝试用强化学习的步调来教诲机器东谈主。可是，现存的强化学习步调，比如组级战略优化（GRPO），又靠近着另一个严重问题：奖励信号过于衰退。这就像一个敦厚只在学期末告诉学生是否合格，而所有这个词这个词学期齐不给任何反馈一样。在机器东谈主学习中，这意味着只须当机器东谈主弥漫完成任务时智力得到正面奖励，而所有这个词失败的尝试齐被一律标志为零分。

这种衰退奖励的问题在机器东谈主范畴尤其严重，因为机器东谈主的每次尝试齐需要大齐的狡计资源和时间。当一个机器东谈主亏空几分钟时间试图完成一个任务却失败了，传统步调会约略地将此次尝试标志为失败并丢弃，弥漫冷落了其中可能包含的有价值信息。这就像丢弃了一册纪录着所有这个词失实作念法的贵重札记。

一些议论尝试通过手工瞎想的过程奖励模子来提供更密集的反馈，但这种步调需要大齐的大众常识和任务特定的工程瞎想，就像为每种不同的菜谱齐要制定一套专有的评分圭臬一样繁琐且难以推行。更首要的是，这种步调仍然依赖于外部大众的指导，无法终了确切的自主学习。

二、SRPO的中枢想路：用生效警戒指导失败分析

SRPO本领的创新性之处在于它建议了"自参考学习"的成见。约略来说，即是让AI机器东谈主用我方的生效警戒作为圭臬，来评估和矫正我方的失败尝试。这就像一个学生把我方作念得好的功课拿来对比分析作念得不好的功课，找出差距场合。

具体来说，SRPO的使命经由可以这么领会：每当机器东谈主进行一批教诲尝试时，议论团队会将这批尝试分为两类——生效的和失败的。然后，他们用一种特殊的"寰球模子编码器"来分析这些尝试，这个编码器就像一个懂得机器东谈主行为的专科分析师，约略领会和比较不同业为序列的相似性。

寰球模子编码器的作用就像一个警戒丰富的教诲，它不是约略地看动作的名义形态，而是约略领会动作背后的意图和进展情况。比如，当机器东谈主试图把一个苹果放入盘子时，即使最终失败了，这个编码器也能识别出机器东谈主是否生效收拢了苹果，是否朝着正确的标的挪动，以及距离完成任务还差若干形态。

通过这种深档次的行为领会，SRPO约略为失败的尝试分派合理的"程度奖励"。这些奖励不是约略的0或1，而是凭据失败尝试与生效警戒的相似程度来详情的联结数值。这就像一个敦厚不仅看最终谜底是否正确，还会凭据解题想路和形态的正确性给出部分分数。

三、潜辞寰球暗示：机器东谈主的"直观领会"

SRPO本领的一个要道创新是使用潜辞寰球暗示来推测行为相似性。传统步调常常径直比较像素级别的图像，这就像只看相片的名义而不睬解相片内容一样浅易。而SRPO选定的步调更像是让机器东谈主具备了"直观领会"的智商。

这种潜辞寰球暗示来自于预教诲的寰球模子，可以想象成是一个博物多闻的"敦厚傅"，它看过大齐的机器东谈主操作视频，因此约略领会不同动作序列背后的物理规章和任务进展。当两个动作序列在这个潜在空间中距离较近时，证明它们在试验上是相似的，即使名义上看起来可能不同。

举个例子，假定有两个机器东谈主齐在尝试把杯子放到桌子上。一个机器东谈主从左边抓起杯子，另一个从右边抓起，天然它们的具体动作旅途不同，但在潜辞寰球暗示中，这两个序列会被识别为相似的，因为它们齐体现了"抓取-挪动-扬弃"这个中枢的任务结构。

这种领会智商让SRPO约略准确识别失败尝试中的积极进展。即使机器东谈主最终没能完成任务，只须它的行为在某些要道方面与生效警戒相似，就能获取相应的奖励。这就像一个学生天然莫得得出正确谜底，但因为使用了正确的解题步调而获取部分分数。

更首要的是，这种潜在暗示具有很强的泛化智商，就像一个有丰富警戒的导师约略在不同的情境中识别出相似的学习模式一样。无论是在不同的环境中，如故面对不同类型的任务，这种暗示齐能有用地使命，不需要针对每个新任务重新教诲。

四、实验考证：从48.9%到99.2%的惊东谈主飞跃

议论团队在LIBERO基准测试上考证了SRPO的遵守，收尾令东谈主轰动。LIBERO是一个特地用于测试机器东谈主学习智商的圭臬化平台，包含了四个不同类型的任务套件：空间推理、物体操作、宗旨导向和永远计议任务。

实验的开拓就像一场平允的学习智商测试。议论团队率先用每个任务的单个演示对机器东谈主进行基础教诲，这就像给学生看一遍圭臬谜底。在这个着手上，机器东谈主的生遵守只须48.9%，发达相当一般。然后，他们使用SRPO步调进行在线强化学习，让机器东谈主在试验尝试中不休矫正。

收尾是惊东谈主的：只是经过200个强化学习形态，机器东谈主的生遵守就飙升到了99.2%，nba比赛外围下注app这相当于103%的相对升迁。更令东谈主印象真切的是，这个过程弥漫不需要极端的大众演示或东谈主工奖励瞎想，机器东谈主弥漫是通过自我对比和反想来终了这种飞跃的。

在不同的任务类型上，SRPO齐展现出了优异的发达。在空间推理任务中，生遵守达到了98.8%，在物体操作任务中达到了100%，在宗旨导向任务中达到了99.4%，即使在最难过的永远计议任务中也达到了98.6%。这些数字不仅卓越了所有这个词对比的基线步调，还达到了接近竣工的水平。

更进一步，议论团队还在LIBERO-Plus基准上测试了SRPO的泛化智商。这个测试平台引入了七种不同的扰动维度，包括录像头角度变化、机器东谈主启动位置变化、谈话提醒变化、光照条目变化、配景变化、传感器噪声和布局变化。这就像让学生在各种干扰条目下答题，测试确切的领会智商而不是死记硬背。

在这个更具挑战性的测试中，SRPO一样发达出色，终露出167%的性能升迁。这讲解了SRPO不仅能在圭臬条目下使命精深，还具有很强的适合性和鲁棒性。

五、与现存步调的对比：为什么SRPO更胜一筹

为了更好地领会SRPO的上风，议论团队将其与多种现存步调进行了注释对比。这些对比步调可以分为几个类别，每种齐有其特定的上风和局限性。

传统的师法学习步调，如OpenVLA、Pi0等，主要依赖大众演示进行学习。这些步调就像让学生反复不雅看敦厚的圭臬操作，天然约略学到正确的作念法，但枯竭创新和适合智商。在LIBERO测试中，这些步调的发达天然可以，但广阔存在泛化智商不及的问题。

强化学习步调，如SimpleVLA-RL、RIPT-VLA和RLinf等，试图通过环境交互来矫正战略。这些步调就像让学生通过大齐锻真金不怕火来提高智商，表面上应该愈加无邪。可是，由于奖励衰退性问题，它们的学习遵守往往较低，需要大齐的尝试智力取得进展。

一些议论尝试通过手工瞎想的过程奖励来处罚衰退性问题，如TGRPO步调。这种步调就像为每个学习形态制定注释的评分圭臬，天然能提供更丰富的反馈，但需要大齐的大众常识和任务特定的工程瞎想，难以推行到新的任务。

比拟之下，SRPO的上风在于它聚首了多种步调的所长而幸免了各自的弊端。它像师法学习一样约略欺诈生效警戒，像强化学习一样具备探索智商，同期又像过程奖励步调一样提供密集反馈，但不需要任何外部大众常识。

在教诲遵守方面，SRPO也展现出昭彰上风。传统的监督学习可能需要数万个教诲形态，而SRPO在不同任务套件均分别只需要79步（空间任务）、59步（物体任务）、103步（宗旨任务）和219步（永远任务）就能达到优异性能。

六、深入分析：为什么潜辞寰球暗示如斯有用

为了考证潜辞寰球暗示在奖励塑形中的有用性，议论团队进行了注释的对比实验。他们将SRPO与两种替代决策进行比较：像素级程度奖励和基于ImageBind的程度奖励。

像素级步调径直比较视频帧之间的像素互异，九游会就像通过比较相片的每个像素点来判断两张相片是否相似。天然这种步调约略直不雅，但存在昭彰的局限性。它对环境中的眇小变化过于明锐，可能会因为光照变化或物体的幽微挪动而产生失实判断。更首要的是，它无法领会动作的语义含义，可能会将名义相似但试验宗旨不同的动作误判为交流。

ImageBind步调使用通用的视觉编码器来提真金不怕火特征，这比像素级步调愈加智能，约略识别高级次的视觉模式。可是，由于它是在通用数据上教诲的，枯竭对机器东谈主特定物理成见的领会，在评估任务程度时仍然不够准确。

比拟之下，SRPO使用的潜辞寰球暗示特地针对物理寰球的动态过程进行教诲，约略领会物体之间的相互作用、畅通的因果关系以及任务的档次结构。这就像一个专科的体操教诲与泛泛不雅众的区别，专科教诲约略看挪动作的本领含量和完成度，而泛泛不雅众可能只可看到名义的相似性。

在定量评估中，议论团队瞎想了五个评价缱绻来测量程度奖励的质料。这些缱绻包括时间干系性（奖励是否随时间单调递加）、单调性（是否牢固增长）、最大均值互异（生效和失败轨迹的永别度）、詹森-香农散度（分散互异）和圭臬化均值互异（效应大小）。

收尾默契，SRPO在所有这个词五个缱绻上齐显耀优于其他步调。尽头是在时间干系性方面，SRPO达到了0.998的近乎竣工分数，而像素级步调只须0.125，ImageBind步调为0.957。这意味着SRPO约略提供确切反馈任务程度的奖励信号。

七、教诲遵守的显耀升迁：渔人之利的学习过程

SRPO在教诲遵守方面的上风不仅体当今需要的教诲形态更少，还体当今对失败轨迹的有用欺诈上。传统的GRPO步调试验上丢弃了所有这个词失败的尝试，只从生效的警戒中学习。这就像一个学生只看正确谜底而冷落失实解法中的有用信息。

为了直不雅地展示这种互异，议论团队绘画了SRPO与GRPO在教诲过程中的性能弧线对比。收尾默契，SRPO的学习弧线昭彰更笔陡，尽头是在永远任务中上风愈加昭彰。这是因为永远任务包含更多的中间形态，失败的尝试往往包含大齐有价值的部分红功信息，而SRPO约略充分挖掘和欺诈这些信息。

以LIBERO-Long任务套件为例，GRPO需要苟且300个教诲形态智力达到90%的生遵守，而SRPO只需要约200步就能达到交流水平。更首要的是，SRPO的教诲过程愈加矫捷，波动更小，这意味着它约略更可靠地向宗旨拘谨。

这种遵守升迁的原因在于SRPO约略从每次尝试中提真金不怕火更多信息。当机器东谈主尝试实践一个复杂任务时，即使最终失败了，它可能在某些子任务上发达精深。SRPO约略识别这些积极的方面并赐与相宜的奖励，从而加快学习过程。

八、探索智商的增强：跳出演示数据的局限

SRPO的另一个首要上风是它约略促使机器东谈主探索卓越原始演示数据的新战略。为了考证这少量，议论团队分析了使用SRPO教诲的机器东谈主在实践任务时生成的动作轨迹，并将其与仅领受监督教诲的机器东谈主进行比较。

分析收尾令东谈主印象真切：SRPO教诲的机器东谈主展现出了昭彰更高的动作各种性。在LIBERO-Spatial任务套件的测试中，议论团队纪录了机器东谈主的终局实践器位置轨迹，发现SRPO教诲的机器东谈主不仅约略到达原始演示中未尝触及的空间区域，还约略生成愈加分散和各种化的畅通模式。

这种探索智商的增强具有首要意旨。传统的师法学习步调容易堕入"演示偏差"的罗网，即机器东谈主只可重叠演示者的特定作念法，无法适合新的情况或发现更优的处罚决策。而SRPO通过在线学习和自我比较，饱读动机器东谈主尝试不同的步调，只须这些尝试朝着正确的方上前进就会得到奖励。

议论团队还展示了一些具体的例子，证明SRPO若何匡助机器东谈主发现新的战略。在"把苹果放进盘子"的任务中，原始演示可能只展示了一种特定的抓取面容，但SRPO教诲的机器东谈主学会了多种不同的抓取位置和角度，使其约略更好地适合苹果位置的变化。

九、确切寰球的考证：从仿真到试验应用

为了考证SRPO在确切寰球中的有用性，议论团队在X-ARM 7机器东谈主上进行了五个不同的操作任务。这些任务包括把苹果和梨分别放入盘子、折毛巾、擦白板和领受特定的扑克牌。

接头到确切寰球实验的安全性和时间资本，议论团队选定了离线强化学习的面容，聚首上风加权回顾（AWR）战略和SRPO的自参考程度奖励机制。他们率先网罗演示数据并存储在轨迹缓冲区中，然后使用SRPO的奖励机制来狡计每个时间步的程度奖励。

实验收尾阐发了SRPO在确切寰球中的有用性。两种不同的VLA战略主干鸠合（基于扩散的π0和基于自回顾的π0-FAST）在使用SRPO步调后齐获取了显耀的性能升迁，平均升迁幅度分别达到了66.8%和86.7%。

尽头值得提防的是，在触及物体扬弃和操作的任务中，矫正遵守最为显耀。这考证了该步调在适合感知变化方面的有用性。同期，在折毛巾这么触及可变形物体操作的复杂任务中，SRPO也发达出了精深的性能，这讲解了步调的粗俗适用性。

议论团队还瞎想了一些特殊的测试来考证机器东谈主的语义领会智商。在"领受懦夫牌"的任务中，桌面上扬弃了五张不同的扑克牌，包括懦夫、黑桃J、梅花K、黑桃J和黑桃10。机器东谈主需要准确识别并领受指定的牌。这种任务不仅需要精准的动作禁止，还需要对视觉信息的准确领会。

十、本领细节：SRPO的具体终了

SRPO的本领终了触及几个要道组件的用心瞎想。率先是寰球模子编码器的领受，议论团队使用了V-JEPA 2模子，这是一个在大限度视频数据上预教诲的潜辞寰球模子。这个领受并非或然，因为V-JEPA 2特地针对视频序列中的时间动态进行了优化，约略很好地领会动作序列的发展过程。

在轨迹比较过程中，SRPO使用DBSCAN聚类算法对生效轨迹的潜在暗示进行聚类。这一步的目的是识别不同的生效战略模式。由于兼并个任务往往可以通过多种不同的面容完成，聚类约略确保失败轨迹与最相似的生效战略进行比较，而不是与某个可能不干系的生效案例进行比较。

奖励狡计使用L2距离来推测失败轨迹与生效轨迹聚类中心的相似性。距离越小，暗示失败轨迹与生效模式越相似，因此获取的程度奖励越高。最终的奖励通过一个激活函数映射到0到1的范围内，生效轨迹获取固定的1.0奖励，失败轨迹凭据其程度获取相应的部分奖励。

在战略优化方面，SRPO基于GRPO框架进行矫正，主要修改在于上风函数的狡计。传统GRPO只使用衰退的二元奖励，而SRPO使用基于程度的联结奖励来狡计上风。这使得战略梯度更新约略更精准地指向故意的行为矫正标的。

十一、深度分析：为什么自参考学习如斯有用

SRPO的生效背后有着真切的表面基础。传统的强化学习往往依赖外部界说的奖励函数，但在复杂的机器东谈主任务中，瞎想合适的奖励函数是一个纷乱的挑战。过于衰退的奖励导致学习难过，而过于密集的东谈主工奖励又可能指挥机器东谈主学到次优的战略。

自参考学习的中枢想想是欺诈智能体自身生成的数据作为参考圭臬。这种步调的上风在于它自动适合智能体刻下的智商水平。在教诲初期，生效的案例可能较少且质料不高，但跟着教诲的进行，生效案例的数目和质料齐会升迁，从而为程度评估提供更好的参考圭臬。

这种动态的参考圭臬更新机制确保了学习过程的自适合性。就像一个学生在不休提高的过程中，天然会将我方的圭臬也相应提高一样。这幸免了固定奖励函数可能带来的过早拘谨或失实指挥问题。

潜辞寰球暗示的使用进一步增强了自参考学习的遵守。通过在详细的特征空间中进行比较，SRPO约略捕捉到行为的试验相似性，而不被名义的互异所干扰。这就像一个警戒丰富的教诲约略看出不同学生在本领动作上的共同点，即使他们的肉体条目和发达形态不同。

十二、局限性与将来瞻望

尽管SRPO展现出了令东谈主印象真切的性能，但议论团队也淳厚地指出了一些局限性和矫正空间。率先，该步调面前主要在视觉-谈话-动作任务上进行了考证，关于其他类型的机器东谈主任务（如触觉为主的操作或听觉导向的任务）的适用性还需要进一步考证。

其次，天然SRPO显耀提高了教诲遵守，但在某些极其复杂的永远任务中，仍然需要相当数目的教诲样本智力达到瞎想性能。这部分反馈了刻下寰球模子在领会复杂时间依赖关系方面的局限性。

在确切寰球应用方面，天然议论团队进行了初步考证，但实验限度相对有限。更大限度确实切寰球部署和永远性能评估仍然是将来使命的首要标的。此外，在愈加动态和不成预测的环境中的发达也需要进一步议论。

从本领角度来看，面前的步调主要依赖视觉信息进行程度评估，将来可以接头和会多模态信息（如触觉、听觉等）来提供更全面的程度判断。同期，探索更先进的寰球模子和更高效的轨迹比较算法亦然有价值的议论标的。

议论团队指出，SRPO为"自主学习"开辟了新的可能性。将来的机器东谈主系统可能约略在最少东谈主类干涉的情况下，通过自我探索和反想来掌抓复杂的手段。这不仅有助于镌汰机器东谈主部署的资本，还能让机器东谈主具备更强的适合性和创新智商。

说到底，SRPO代表了机器东谈主学习范畴的一个首要进展。它不仅处罚了刻下列法靠近的一些要道本领挑战，更首要的是，它展示了一种新的学习范式——让AI系统像东谈主类一样从失败中学习，通过自我反想不休越过。

这项议论的意旨远不啻于本领自身。它为咱们想考AI学习和东谈主类学习的相似性提供了新的视角。也许有一天，咱们的AI助手不仅约略实践提醒，还约略像确切的伙伴一样，通过警戒蕴蓄和自我反想来不休成长和矫正。关于那些但愿深入了解这项议论本领细节的读者，可以通过论文编号2511.15605v1在arXiv平台上查阅完整论文。

Q&A

Q1：SRPO本领是什么，它与传统机器东谈主学习步调有什么区别？

A：SRPO是"自参考战略优化"本领，由复旦大学等机构开发。与传统步调最大的区别是它能让机器东谈主从失败中学习，而不是约略地丢弃失败的尝试。就像学生可以通过对比我方的好功课和差功课来找出问题一样，SRPO让机器东谈主用我方的生效警戒来指导失败分析，从而大幅提高学习遵守。

Q2：SRPO本领在试验测试中发达若何？

A：SRPO在LIBERO基准测试中发达惊东谈主，仅用200个教诲形态就将机器东谈主生遵守从48.9%升迁到99.2%，相当于103%的升迁。在更难过的LIBERO-Plus测试中也终露出167%的性能矫正。更首要的是，这些升迁弥漫不需要极端的大众指导或东谈主工瞎想奖励，机器东谈主弥漫通过自我学习达到近乎竣工的发达。

Q3：SRPO本领什么时候能应用到日常糊口中的机器东谈主？

A：面前SRPO还处于议论阶段，也曾在确切机器东谈主上考证了有用性，约略完成抓取物品、折毛巾、擦白板等基础任务。天然距离商用还需要时间，但这项本领为将来家用机器东谈主的智能化奠定了首要基础。跟着本领越过，咱们有望在将来几年看到愈加灵巧、约略自主学习的机器东谈主助手走进日常糊口。