这项由南边科技大学、香港科技大学、香港科技大学（广州）、香港理工大学以及LIGHTSPEED皆集开展的商量，以预印本格局发布于2026年6月，论文编号为arXiv:2606.02388，有好奇潜入了解的读者可通过该编号查询完整论文。

当咱们辩驳AI智能体的时候，脑海中清楚的通常是那种未必自主操作网页、在编造房间里完成任务、或者帮你搜索信息的"数字助手"。老练这类助手的主流方式，叫作念强化学习——说白了，便是让AI不停尝试，作念对了就给奖励，作念错了就扣分，渐渐学会哪些行为能拿到高分。这套逻辑听起来很像老练小狗：作念对了给零食，作念错了不给。

然则问题来了：小狗作念了某个动作之后，它会坐窝看到环境的响应——你皱了眉头，或者兴奋肠摸了摸它。但用强化学习老练的AI智能体，收受到的只是"任务完成"或"任务失败"这么的最终评分。至于它每一步操作到底对宇宙形成了什么影响，它简直一无所知。这就像一个厨师只知谈终末这谈菜被评了几分，却完全不明晰是哪一步下盐、哪一步翻炒出了问题。昙花一现，厨师可能偶尔作念出佳肴，但永远不会真实意会烹调的道理。

商量团队恰是从这个痛点开赴，建议了一个叫作念PaW的老练框架。PaW是"Policy and World modeling co-training"的缩写，直译过来便是"战略与宇宙建模协同老练"。它的中枢念念路毛糙而神秘：AI智能体在老练过程中本来就会产生大都"纯属纪录"，每一笔纪录都包含了"作念了什么动作"以及"之后环境变成了什么神色"。这些信息往常只被用来计较分数，而PaW把它们变成了荒谬的学习材料，让智能体同期学会"瞻望下一步会发生什么"。不需要荒谬的数据采集，不需要单独开导一个模拟器，也不会在本色使用时增多任何计较工作——过剩的学习就发生在正本的老练过程中，顺遂完成。

一、AI智能体的"只知谈适度，不懂过程"逆境

要意会为什么PaW的出现很报复，得先搞明晰现存老练方式的局限在那处。

圭表的强化学习老练，就像让一个学生反复作念模拟考题，然后只告诉他最终得益，不给任何解析。学生会渐渐摸明晰哪类题型容易得分，但他对知识自己的意会可能依然残毁。在AI智能体的场景里，这种缺点体现得更为显着：智能体可能学会了某个"规则"——比如在特定情境下输入某个教导通常能拿高分——但它并不真实意会这个教导会对环境产生什么影响。一朝遭遇了稍稍生疏的场景，或者某个操作产生了不可逆的后果，它就会堕入错乱。

商量团队把这种缺失定名为"宇宙建模才略"的枯竭。所谓宇宙建模，说穿了便是：给智能体一个现时现象和一个野心接纳的动作，它能瞻望出接下来环境会变成什么样。这听起来像是东谈主类的知识——你知谈大开雪柜门，雪柜里的东西就会涌现在你眼前；你知谈搜索"玄色小号T恤"，网页会复返一堆相干商品。但AI智能体如若枯竭这种预判才略，就会像一个对宇宙运转毫无看法的东谈主一样，只可靠反复试错荟萃申饬。

为了弥补这个缺口，学术界仍是有一些探索。一类挨次是单独老练一个"宇宙模子"，当作模拟器来生成演叨的老练轨迹，或者在推理时援救筹备。这类挨次的代价是：你需要荒谬一套模子、荒谬一套老练过程，推理时还要多走一遍模拟要领，系统复杂度大幅飞腾。另一类挨次是先给模子防范宇宙建模才略，再初始强化学习老练，相称于分两个阶段完成。这相通意味着更多的时分和资源参加，并且两阶段的合营自己便是个繁重事。

PaW的念念路则完全不同。商量团队发现，强化学习的老练过程中其实早已藏着大都的宇宙建模素材，只是没东谈主用过它们。

二、被疏远的"免费课本"：老练轨迹里的矿藏

每一次智能体引申老练任务，都会留住一段"轨迹纪录"，格局大约如下：现时现象 → 引申了什么动作 → 获取了什么奖励 → 环境变成了什么新现象。传统的强化学习只使用前三项——现象、动作、奖励——来更新智能体的战略。而阿谁"环境变成了什么新现象"，也便是动作之后的不雅测适度，一直被白白丢弃。

商量团队的中枢瞻念察在于：每一条轨迹中的"动作→新不雅测"配对，自然便是一份宇宙建模的老练样本。只须让智能体学会字据现时现象和动作来瞻望下一步的不雅测，它就在纯属意会环境动态。而这份纯属材料，每一轮老练都在免费产生，完全不需要荒谬采集。

具体到时刻收尾，PaW的作念法是：在原有的强化学习赔本函数（也便是饱读吹智能体选择高分动作的办法）以外，添加一个援救的宇宙建模赔本函数，条目销毁个模子还要学会瞻望下一步的不雅测文本。两个办法共用销毁套模子参数，在销毁个老练要领里同期优化。由于谈话模子自然的"因果详细力"机制——背面的笔墨不成影响前边的瞻望——宇宙建模部分的监督信号不会干豫战略决策部分的学习，两者白璧青蝇。而在本色使用时，模子只需要泛泛生成动作，完全不需要荒谬的模拟要领，莫得任何推理支出。

这就好比一个学厨的学徒，既在纯属"下一步该作念什么操作"，又在纯属"这个操作之后锅里会发生什么变化"，两件事同期学，用的是销毁套纯属材料，用时不变，却多学了一门作业。

不外，正如真实的老练场景里总有各种干豫身分，这份"免费课本"也远非好意思满干净。商量团队发现了三个必须措置的本色问题，并为此离别遐想了对应的措置决策。

三、三谈工序，让"免费课本"真恰恰用

第一个问题是：不是通盘的动作都值得学。

在某些任务里，智能体会反复引申销毁类高度敬佩的操作，比如在编造房间里一遍又一随地走向办法物体。这类动作的适度简直是不错完全意想的，对学习环境动态莫得太大匡助，反而会让模子把太多元气心灵花在重叠的、低信息量的样本上。

PaW的第一个遐想是"基于动作熵的数据筛选"。所谓"动作熵"，不错意会为智能体在选择这个动作时有多纠结——如若它简直笃定地要选某个动作，熵就低；如若它对好几个选项都拿不准，熵就高。熵高的动作诠释这个决策点更关键、更复杂，其对应的环境响应也更值得学习。PaW会从每轮老练产生的通盘轨迹里，只挑出熵最高的那一部分更始样本来作念宇宙建模老练，默许比例是保留75%的高熵样本，丢弃低熵的重叠操作。这么既简约了计较资源，又保证了宇宙建面孔本的质料。

第二个问题是：不雅测文本里通常混合着"噪声"。

论文中举了两个灵活的例子。在编造家务任务ALFWorld里，相通是"大开雪柜1"这个动作，在不同的环境实例里，大开之后看到的东西完全不同——一次内部有杯子、番茄和酒瓶，另一次内部是碗、鸡蛋和马克杯。这种飞速性意味着不雅测自己就不是完全可瞻望的。而在网购任务WebShop里，搜索适度里会混合大都商品编号（比如"B09QQP3356"这么的ASIN码）和品牌称号，这些字符完全飞速，根柢无法从语义上瞻望。

如若用圭表的交叉熵赔本来老练宇宙建模，模子会被动销耗大都元气心灵去"记着"这些飞速字符，因为交叉熵赔本对低概率瞻望的刑事工作成倍放大，一个简直不可能猜中的飞速编号会产生极大的梯度信号，把模子的优化标的带歪。论文中的分析自满，在WebShop的场景下，交叉熵赔本中高达32%的梯度份额来自那些被界说为"噪声"的词元，而MAE赔本只须14%。

PaW的第二个遐想是用"截断MAE赔本"替代圭表交叉熵。MAE赔本（均完全舛讹赔本）对低概率瞻望的刑事工作是线性的而非指数级的，自然对难以瞻望的词元更优容。在此基础上，商量团队还加入了一个置信度截断机制：如若模子对某个词元的瞻望概率仍是卓著了阈值（默许0.2），就以为这个词元仍是学得浪费好了，径直从赔本算较中摈斥，不再施加梯度压力。这么一来，模子会专注于那些"还没学会但值得学"的不雅测词元，既不会在飞速噪声上浪艰苦气，也不会反复免强我方去"过度牵挂"仍是掌捏的内容。

第三个问题是：宇宙建模的援救老练和强化学习的主老练之间，力量需要动态均衡。

如若给宇宙建模办法成立一个固定的、较大的权重，它可能会压过疏淡的奖励信号，让强化学习失去主导。但如若权重太小，援救老练又简直莫得后果。更关键的是，不同的任务组在不同阶段对宇宙建模的需求是不同的——那些奖励很差、任务简直全部失败的老练组，正处于最需要意会环境动态的阶段；而那些仍是大部分顺利的老练组，只需要接续精化战略就好。

PaW的第三个遐想是"奖励自适合赔本均衡"。每一组老练轨迹都有一个平均薪金，商量团队字据这个平均薪金动态计较宇宙建模的权重：平均薪金越低，权重越大；平均薪金越高（接近满分），权重越小，让强化学习办法当然占主导。这个机制就像一位聪颖的西宾，对基础差的队员多花时分西宾战术道理，对仍是打得很好的队员则让他们更多地在实战中老练手段，而不是反复虚心论。

三个遐想组合在一谈，形成了完整的PaW框架，LOL下注并被编写成一个简约的老练算法：每轮老练，先采集轨迹，然后筛选高熵更始样本，用截断MAE计较宇宙建模赔本，用奖励自适合所有这个词诊疗权重，终末和强化学习赔本合并，同期更新模子参数。通盘这个词过程不需要荒谬的模子推理，也不需要荒谬的数据采集，比拟基础强化学习只增多了约2.1%的老练时分和2.4%的GPU内存占用。

四、三个战场，PaW的实战得益单

商量团队在三类不同的任务上评测了PaW的后果，使用的基础模子涵盖了不同限度和系列，强化学习算法也不啻一种。

第一个战场是编造家务任务ALFWorld。这个环境里，智能体需要在编造房间中完成六类家务，包括把某件物品捡起放到指定处所、在灯下查验物品、清洗物品、加热物品、冷却物品，以及一次性捡起两件物品。任务最长可达50步，每一步的操作都会对环境现象产生影响，是典型的长序列决策任务。

在1.5B参数限度的Qwen2.5模子上，搭配GRPO算法，PaW把全体顺利率从70.0%升迁到了77.9%，升迁了7.9个百分点。搭配更先进的GIGPO算法，全体顺利率从87.6%升迁到90.4%，升迁2.8个百分点。在7B参数限度的更大模子上，GRPO搭配PaW从77.6%升迁到80.6%，GIGPO搭配PaW从90.8%升迁到91.8%。升迁幅度随模子才略增强而有所收窄，这是合理的——越利害的模子自己仍是更接近天花板，升迁空间当然更小。

第二个战场是网购任务WebShop。这个环境里，智能体需要在一个包含11万多件商品的编造电商平台上，字据用户的购物需求搜索并购买合适的商品，任务最长15步。这个场景的特殊性在于商品页面包含大都飞速文本，恰是前边提到的"噪声不雅测"最严重的处所，亦然截断MAE赔本证实作用的中枢场景。

适度自满，PaW在WebShop上带来了更大的升迁。1.5B模子上，GRPO搭配PaW的顺利率从60.6%跃升至68.6%，升迁8.0个百分点；GIGPO搭配PaW从66.2%升迁至75.3%，升迁9.1个百分点。7B模子上，两种算法离别升迁4.0和2.9个百分点。

第三个战场是多轮搜索问答任务。这类任务条目智能体通过多轮调用搜索引擎来答复问题，隐私了七个不同的问答数据集，包括单跳问答（一次搜索能答复的）和多跳问答（需要屡次搜索、综合推理才智答复的）。在3B和7B限度的Qwen2.5模子上，PaW对GRPO和GIGPO都带来了富厚的升迁，平平分升迁幅度在0.9到3.0个百分点之间。

除了这三个主要战场，商量团队还有益测试了PaW在不同强化学习算法和不同模子眷属上的泛化才略。PPO算法搭配PaW，WebShop顺利率从59.1%升迁到65.2%，升迁6.1个百分点；RLOO算法搭配PaW从56.7%升迁到61.2%，升迁4.5个百分点。在模子眷属方面，Qwen3-1.7B搭配PaW升迁8.8个百分点，更大的Qwen2.5-14B升迁2.4个百分点。这些数据标明PaW不依赖于某种特定算法或模子架构，而是一种渊博适用的增强挨次。

五、当等闲强化学习澈底失效，PaW依然能救场

商量中最引东谈主关心的一个发现，是PaW在"等闲强化学习根柢学不动"的极点场景下的发扬。

用Llama3.2-3B模子在WebShop上作念GRPO老练，适度老练了150步，模子的顺利率持久在0隔壁踯躅——简直通盘的任务都失败了，奖励信号迥殊疏淡LOL腾讯游戏平台，相称于学生作念了150谈题，每次都是零分，完全不知谈我方到底那处出了错。在这种情况下，强化学习失去了不错学习的信号，老练堕入停滞。

加入PaW之后，情况发生了戏剧性的编削。尽管任务奖励依然珍稀，宇宙建模的赔本却提供了密集的学习信号——模子每一步都在尝试瞻望"引申这个动作之后，购物网站会自满什么"，这个纯属不依赖任务是否顺利，只须有现象-动作-新现象的三元组就能进行。通过这种方式，模子渐渐荟萃了对环境运转方式的意会，最终初始产生顺利的购物轨迹，为强化学习提供了正向奖励信号，老练得以接续推动。最终顺利率从简直为零的4.0%跃升至62.2%，升迁了惊东谈主的58.2个百分点。

这个适度揭示了PaW的一个荒谬价值：它不单是是对仍是在学的强化学习的诚心诚意，还不错在疏淡奖励的坚苦场景下饰演"引路东谈主"的变装，匡助智能体从零初始找到学习的标的。

六、消融现实：三个遐想统筹兼顾

商量团队还作念了一系列消融现实，有益考据PaW三个中枢遐想的各自孝敬。

如若把奖励自适合权重去掉，改为对通盘老练组使用固定的权重1，ALFWorld顺利率从77.9%下跌到75.5%，WebShop从68.6%下跌到67.0%。两项任务都下跌了，诠释自适合权重如实有助于均衡援救老练和主老练之间的关系。

更大的影响来自赔本函数的选择。如若把截断MAE赔本换回圭表的交叉熵赔本，ALFWorld顺利率从77.9%骤降至68.5%，WebShop从68.6%骤降至57.2%——后者以致比莫得PaW的基础GRPO（60.6%）还要差。这个适度迥殊昭着：在有噪声不雅测的环境里，造作的赔本函数不仅帮不上忙，反而会株连主任务的学习。交叉熵赔本对飞速噪声词元的过度刑事工作，会把模子的优化资源引向造作的标的，导致战略学习受损。

商量团队还测试了熵选择比例α和截断阈值ρ两个超参数的明锐性。适度自满，在较宽的参数范畴内（α从0.25到1.0，ρ从0.0到0.8），PaW都能带来比基础GRPO更好的得益，最好值离别在α=0.75和ρ=0.2隔壁。这意味着PaW对超参数不是迥殊明锐，不需要细巧诊疗也能工作。

说到底，PaW作念的事情不错用一句话笼统：它发现了强化学习老练过程中被持久疏远的"边角料"，把它们变成了有价值的学习材料，匡助智能体在纯属"作念什么"的同期顺带学会了"作念了会怎样"。这种双管皆下的老练方式，不需要荒谬的资本，却带来了实确切在的才略升迁。

关于等闲东谈主而言，这项商量的道理在于：将来那些帮你购物、帮你查尊府、帮你操作电脑的AI助手，可能会因为肖似的老练方式而变得愈加聪颖自在，不仅知谈该作念什么，还真实意会每一步操作会带来什么后果——而这种意会，恰是让AI助手在复杂、真实的任务中不出错的关键。

虽然，商量团队也坦诚地指出了现时框架的局限。PaW现在只学习"下一步的不雅测"，关于更长久的多步影响链条，还莫得显式建模。在某些任务里，一个动作的真实影响可能要好几步之后才会体现，这部分才略还需要将来的工作来探索。此外，老练轨迹中可能存在大都重叠的旅途，这会使宇宙建模的学习样本产生偏差，怎样引入各种性采样亦然一个值得潜入的标的。感好奇的读者不错通过arXiv:2606.02388查阅完整论文，了解通盘时刻细节。

Q&A

Q1：PaW框架是什么，和等闲强化学习老练有什么不同？

A：PaW是一种战略与宇宙建模协同老练框架。等闲强化学习只用"作念了什么动作、得了几许分"来更新模子，而PaW荒谬运用了老练过程中产生的"动作之后环境变成什么样"这一信息，让模子同期学会瞻望下一步的环境现象。通盘这个词过程共用销毁套老练数据，不需要荒谬的模子或数据采集，推理时也莫得任何荒谬支出。

Q2：截断MAE赔本为什么比交叉熵赔本更妥当宇宙建模老练？

A：在网购、家务等真实环境里，不雅测文本中包含大都飞速字符（如商品编号、品牌名等），根柢无法从语义上瞻望。圭表交叉熵赔本对这类低概率瞻望的刑事工作会成倍放大，导致模子把大都优化资源花在"记噪声"上，反而干豫了主任务的战略学习。截断MAE赔本对低概率词元的刑事工作是线性的，加上置信度截断机制，只关心"还没学会且值得学"的内容，幸免了这种干豫，现实自满替换赔本函数后WebShop顺利率升迁卓著11个百分点。

Q3：PaW在强化学习完全学不动的情况下果然有用吗？

A：有实考据据援救。用Llama3.2-3B模子在WebShop上作念等闲GRPO老练，老练150步后顺利率仍接近零，奖励信号迥殊疏淡，老练堕入停滞。加入PaW后，宇宙建模赔本提供了密集的学习信号——每一步都在瞻望环境变化，不依赖任务是否顺利。模子借此荟萃了对环境的意会，渐渐产生顺利轨迹，最终顺利率从4.0%跃升至62.2%，升迁了58.2个百分点。