與傳統(tǒng)的在線策略RLVR（基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)）方法相比，ExGRPO在攻克復(fù)雜推理難題的能力方面有顯著提升。

下面，就讓我們一窺 ExGRPO 框架背后的邏輯、優(yōu)勢(shì)與啟示。

為什么是“經(jīng)驗(yàn)驅(qū)動(dòng)”

過(guò)去數(shù)年里，為了提升大型語(yǔ)言模型在數(shù)學(xué)推理、邏輯推理、復(fù)雜任務(wù)求解等方向的能力，研究領(lǐng)域普遍采用基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）方法。

但是，在 RLVR 模型訓(xùn)練中，模型生成一個(gè)推理軌跡（roll-out），參與訓(xùn)練、獲得獎(jiǎng)勵(lì)后即被舍棄。

一方面，生成的軌跡往往代價(jià)昂貴。另一方面，這些“有用的軌跡”卻被一次性使用，隨后被丟棄——好比學(xué)生每做一道題后不復(fù)盤、不歸檔。

簡(jiǎn)而言之，傳統(tǒng)訓(xùn)練流程存在三大痛點(diǎn)：

1. 經(jīng)驗(yàn)浪費(fèi) —— 成功的推理軌跡往往被遺忘

2. 效率低下 —— 刷題而不復(fù)習(xí)，推動(dòng)能力提升緩慢

3. 訓(xùn)練不穩(wěn)定 —— 模型可能走入“做題卻不理解”的狀態(tài)

也就是說(shuō)：當(dāng)“誰(shuí)的數(shù)據(jù)更多”“誰(shuí)訓(xùn)練更久”逐漸成為瓶頸時(shí)，如何系統(tǒng)化地讓模型復(fù)盤、復(fù)用“關(guān)鍵經(jīng)驗(yàn)”便可能成為突破點(diǎn)。

該研究正是在這個(gè)背景下提出：并非所有經(jīng)驗(yàn)都值得溫習(xí)，關(guān)鍵在于「什么樣的經(jīng)驗(yàn)」以及怎樣的復(fù)習(xí)方式。

經(jīng)驗(yàn)管理＋混合策略優(yōu)化

論文提出的 ExGRPO（Experiential Group Relative Policy Optimization）是一個(gè)用于推理訓(xùn)練的大模型經(jīng)驗(yàn)管理與策略優(yōu)化框架。

其核心在于兩個(gè)維度：

1. 經(jīng)驗(yàn)管理：即識(shí)別、存儲(chǔ)、篩選優(yōu)質(zhì)經(jīng)驗(yàn)

2. 混合經(jīng)驗(yàn)優(yōu)化：將精選經(jīng)驗(yàn)與新題探索結(jié)合起來(lái)訓(xùn)練

在 ExGRPO 中，其經(jīng)驗(yàn)管理由三步構(gòu)成：

1. 經(jīng)驗(yàn)收集：每次模型成功完成一道題目后，其軌跡被加入經(jīng)驗(yàn)回放池，有點(diǎn)類似錯(cuò)題本

2. 經(jīng)驗(yàn)劃分與存儲(chǔ)：根據(jù)模型的近期表現(xiàn)，每條經(jīng)驗(yàn)被動(dòng)態(tài)貼上“簡(jiǎn)單”“中等”“困難”標(biāo)簽。與此同時(shí)，若模型在某道題上已連續(xù)多次成功，則將該題移出，避免模型在已掌握題目上刷題停滯

3. 經(jīng)驗(yàn)篩選：根據(jù)“題目篩選”+“軌跡篩選“兩項(xiàng)先驗(yàn)指標(biāo)精選經(jīng)驗(yàn)

接下來(lái)，ExGRPO 采用了“混合策略”的訓(xùn)練目標(biāo)。在每輪訓(xùn)練中，一部分 minibatch 用于探索全新的問(wèn)題。另一部分用于從經(jīng)驗(yàn)池中抽取精選軌跡，反復(fù)學(xué)習(xí)。

此外，還引入“策略塑形”（Policy Shaping）機(jī)制，避免模型因?yàn)檫^(guò)度復(fù)習(xí)而變得保守、失去探索能力。

實(shí)驗(yàn)結(jié)果和行業(yè)啟示

在 1.5B-8B 參數(shù)規(guī)模、不同模型架構(gòu)（如 Qwen、Llama）上，ExGRPO 相比傳統(tǒng) On-policy RL 方法平均提升約 +3.5（分布內(nèi)任務(wù)）至 +7.6（分布外任務(wù)）個(gè)百分點(diǎn)。

不僅如此，整體訓(xùn)練的穩(wěn)定性與效率也有所提升。

同時(shí)，ExGRPO 也面臨三大挑戰(zhàn)。

第一，在更大規(guī)模、更多任務(wù)類型的場(chǎng)景下，經(jīng)驗(yàn)識(shí)別是否依然精確？

第二，建立、維護(hù)經(jīng)驗(yàn)池、劃分分區(qū)、篩選軌跡，都需要額外計(jì)算資源與工程支持，管理成本堪憂。

第三，論文主要在數(shù)學(xué)與通用推理基準(zhǔn)上測(cè)試。未來(lái)在語(yǔ)言生成、對(duì)話、跨模態(tài)任務(wù)中，這一經(jīng)驗(yàn)復(fù)用機(jī)制能否同樣奏效仍待觀察。

但對(duì)模型訓(xùn)練體系而言，ExGRPO 提供了一個(gè)可借鑒的“錯(cuò)題本式”思路：不僅做題，更復(fù)盤；不僅刷題，更優(yōu)化經(jīng)驗(yàn)。

對(duì)開(kāi)發(fā)者而言，可以考慮在實(shí)際模型訓(xùn)練中引入類似經(jīng)驗(yàn)篩選機(jī)制——將模型成功軌跡歸檔、標(biāo)注、復(fù)用，而不是簡(jiǎn)單丟棄。

對(duì)產(chǎn)業(yè)應(yīng)用而言，當(dāng)模型需要長(zhǎng)期服務(wù)、持續(xù)學(xué)習(xí)、快速迭代時(shí)，經(jīng)驗(yàn)機(jī)制尤為關(guān)鍵。它意味著模型不僅“會(huì)做”，還知道怎么做得更好。

對(duì)未來(lái)研究而言，經(jīng)驗(yàn)分區(qū)、軌跡篩選、復(fù)用機(jī)制是一個(gè)值得深入的方向。未來(lái)還有可能與自動(dòng)化經(jīng)驗(yàn)選擇、元學(xué)習(xí)、持續(xù)在線學(xué)習(xí)等方向融合。

參考資料：https://arxiv.org/pdf/2510.02245