作者：羰湯羰及 InternLM、Qwen 等 LLM

全文約 4200 字，預(yù)計(jì)閱讀 12 分鐘

昨天 ，阿里通義發(fā)布了兩款 MoE 模型和六款 Dense 模型，即便是其小尺寸模型 Qwen3-4B，在數(shù)學(xué)推理和編程上的性能依舊令人驚艷。

然而就在今天早晨，新組建的「小米大模型 Core 團(tuán)隊(duì)」突然開(kāi)源四款 MiMo-7B 系列模型（包括基礎(chǔ)模型、指令微調(diào)模型和兩款強(qiáng)化學(xué)習(xí)模型），以僅 70 億參數(shù)的“輕量級(jí)”身軀，挑戰(zhàn)了傳統(tǒng)觀念，展現(xiàn)出媲美甚至超越更大規(guī)模模型的推理能力。

這款模型不僅在預(yù)訓(xùn)練階段通過(guò)獨(dú)特的數(shù)據(jù)策略奠定了堅(jiān)實(shí)基礎(chǔ)，還在后訓(xùn)練階段通過(guò)創(chuàng)新的強(qiáng)化學(xué)習(xí)（RL）方法釋放了驚人潛能，最終在數(shù)學(xué)、代碼和通用推理任務(wù)上擊敗了 OpenAI 的 o1-mini 等強(qiáng)力對(duì)手。

MiMo-7B 的誕生，不僅為開(kāi)源社區(qū)帶來(lái)了寶貴的資源，更為開(kāi)發(fā)高效推理模型提供了全新的思路。本文將帶你深入了解 MiMo-7B 的創(chuàng)新之處，揭秘其實(shí)驗(yàn)方法與驚艷的成果，探索這款小模型如何在推理賽道上跑出“超車(chē)”速度。如果你對(duì)語(yǔ)言模型的推理能力感興趣，或者好奇如何用更少的資源實(shí)現(xiàn)更強(qiáng)的性能，MiMo-7B 的故事一定值得一讀！

創(chuàng)新點(diǎn)：從預(yù)訓(xùn)練到后訓(xùn)練的全面優(yōu)化

MiMo-7B的核心魅力在于其全鏈路的優(yōu)化設(shè)計(jì)，涵蓋了預(yù)訓(xùn)練和后訓(xùn)練兩大階段。團(tuán)隊(duì)沒(méi)有簡(jiǎn)單地堆砌參數(shù)或依賴大規(guī)模算力，而是從數(shù)據(jù)、架構(gòu)到訓(xùn)練策略進(jìn)行了精巧的設(shè)計(jì)，力求在每個(gè)環(huán)節(jié)都最大化模型的推理潛能。

預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練階段，MiMo-7B的團(tuán)隊(duì)深刻認(rèn)識(shí)到，高質(zhì)量的推理數(shù)據(jù)是激發(fā)模型潛能的關(guān)鍵。為此，他們優(yōu)化了數(shù)據(jù)預(yù)處理流程，開(kāi)發(fā)了專門(mén)針對(duì)網(wǎng)頁(yè)中數(shù)學(xué)內(nèi)容和代碼片段的 HTML 提取工具，解決了傳統(tǒng)提取器丟失關(guān)鍵推理模式的問(wèn)題。例如，數(shù)學(xué)博客中的公式和編程教程中的代碼片段得以完整保留，大幅提升了數(shù)據(jù)的推理密度。他們還采用增強(qiáng)的 PDF 解析工具，來(lái)獲取論文和書(shū)籍中的 STEM 和代碼相關(guān)內(nèi)容。

此外，團(tuán)隊(duì)還利用高級(jí)推理模型生成了多樣化的合成推理數(shù)據(jù)，這些數(shù)據(jù)在高輪次訓(xùn)練中表現(xiàn)出極強(qiáng)的魯棒性，避免了過(guò)擬合風(fēng)險(xiǎn)。

為了進(jìn)一步優(yōu)化數(shù)據(jù)分布，MiMo-7B采用了三階段數(shù)據(jù)混合策略：

第一階段平衡各類數(shù)據(jù)；第二階段大幅增加數(shù)學(xué)和代碼數(shù)據(jù)的比例至約70%；第三階段引入10%的合成推理數(shù)據(jù)并擴(kuò)展上下文長(zhǎng)度至 32,768 個(gè)token。

最終，模型在約 25 萬(wàn)億token的龐大數(shù)據(jù)集上完成了預(yù)訓(xùn)練，為后續(xù)的推理任務(wù)奠定了堅(jiān)實(shí)基礎(chǔ)。

另一個(gè)重要的創(chuàng)新是多token預(yù)測(cè)（MTP）模塊的引入。傳統(tǒng)的自回歸生成方式在推理任務(wù)中往往因生成序列過(guò)長(zhǎng)而效率低下。MiMo-7B 通過(guò) MTP 模塊，允許模型一次性預(yù)測(cè)多個(gè) token，從而顯著加速推理過(guò)程。在預(yù)訓(xùn)練中，團(tuán)隊(duì)使用單一 MTP 層以保持訓(xùn)練效率，而在推理階段則通過(guò)復(fù)制和微調(diào)多個(gè)MTP層實(shí)現(xiàn)推測(cè)解碼（speculative decoding）。在 AIME24 基準(zhǔn)測(cè)試中，第一MTP層的接受率高達(dá)90%，第三層仍保持75%以上。這種設(shè)計(jì)不僅提升了推理速度，還保證了生成質(zhì)量，為復(fù)雜推理任務(wù)提供了高效支持。

圖3：MiMo-7B 中 MTP 模塊的架構(gòu)圖。在預(yù)訓(xùn)練期間，使用單個(gè) MTP 層，而推理階段可以使用多個(gè) MTP 層以獲得額外的加速。圖源：技術(shù)報(bào)告

后訓(xùn)練階段

在后訓(xùn)練階段，MiMo-7B通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)一步釋放了模型的推理潛能。

團(tuán)隊(duì)精心構(gòu)建了包含 13 萬(wàn)個(gè)可驗(yàn)證數(shù)學(xué)和代碼問(wèn)題的RL數(shù)據(jù)集，并通過(guò)基于規(guī)則的驗(yàn)證器確保獎(jiǎng)勵(lì)的可靠性。為了解決代碼任務(wù)中獎(jiǎng)勵(lì)稀疏的問(wèn)題，他們提出了測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)機(jī)制（difficulty driven code reward），靈感來(lái)源于國(guó)際信息學(xué)奧林匹克（IOI）的評(píng)分規(guī)則。這種機(jī)制將測(cè)試用例按難度分級(jí)，允許模型通過(guò)部分測(cè)試用例獲得獎(jiǎng)勵(lì)，從而有效優(yōu)化了訓(xùn)練效率。此外，團(tuán)隊(duì)還開(kāi)發(fā)了“無(wú)縫回滾引擎”（Seamless Rollout Engine），通過(guò)連續(xù)回滾、異步獎(jiǎng)勵(lì)計(jì)算和早期終止等技術(shù)，將訓(xùn)練速度提升了2.29倍，驗(yàn)證速度提升了1.96倍。這些創(chuàng)新共同確保了MiMo-7B-RL在推理任務(wù)中的卓越表現(xiàn)。

圖4：“無(wú)縫回滾引擎”概覽圖。圖源：技術(shù)報(bào)告

值得一提的是，MiMo-7B系列模型已全面開(kāi)源，包含基礎(chǔ)模型、監(jiān)督微調(diào)（SFT）模型以及兩款 RL 模型。開(kāi)源地址：

實(shí)驗(yàn)方法

MiMo-7B的成功離不開(kāi)其科學(xué)嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)方法，從數(shù)據(jù)準(zhǔn)備到獎(jiǎng)勵(lì)模型設(shè)計(jì)，再到評(píng)估流程，每一步都體現(xiàn)了團(tuán)隊(duì)對(duì)推理任務(wù)的深刻理解。

數(shù)據(jù)集與預(yù)處理

預(yù)訓(xùn)練數(shù)據(jù)集是 MiMo-7B 的基石。團(tuán)隊(duì)整合了網(wǎng)頁(yè)、學(xué)術(shù)論文、書(shū)籍、編程代碼和合成數(shù)據(jù)等多種來(lái)源，總計(jì)約25萬(wàn)億token。為了提升數(shù)據(jù)質(zhì)量，他們優(yōu)化了文本提取工具，特別針對(duì)數(shù)學(xué)公式和代碼片段進(jìn)行了增強(qiáng)，確保這些高價(jià)值內(nèi)容不被遺漏。同時(shí)，采用快速全局去重技術(shù)和多維度數(shù)據(jù)過(guò)濾，剔除了低質(zhì)量?jī)?nèi)容并上采樣了專業(yè)領(lǐng)域的優(yōu)質(zhì)數(shù)據(jù)。合成推理數(shù)據(jù)的引入進(jìn)一步豐富了數(shù)據(jù)集，團(tuán)隊(duì)通過(guò)提示高級(jí)推理模型生成深入分析和問(wèn)題解答，確保了數(shù)據(jù)的多樣性和推理深度。

圖源：機(jī)智流

在后訓(xùn)練階段，RL數(shù)據(jù)集由 10 萬(wàn)個(gè)數(shù)學(xué)問(wèn)題和 3 萬(wàn)個(gè)代碼問(wèn)題組成。數(shù)學(xué)問(wèn)題來(lái)源于開(kāi)源數(shù)據(jù)集和競(jìng)賽級(jí)私有集合，經(jīng)過(guò)嚴(yán)格的去重和去污染處理，并通過(guò)模型難度評(píng)估過(guò)濾掉過(guò)難或過(guò)易的問(wèn)題。代碼問(wèn)題同樣經(jīng)過(guò)了嚴(yán)格篩選，確保每個(gè)問(wèn)題都有可靠的測(cè)試用例支持。這樣的數(shù)據(jù)精選策略為RL訓(xùn)練提供了高質(zhì)量的素材。

獎(jiǎng)勵(lì)模型設(shè)置

MiMo-7B的RL訓(xùn)練采用了改進(jìn)的組相對(duì)策略優(yōu)化（GRPO）算法，并融入了一系列創(chuàng)新優(yōu)化。

獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)尤為關(guān)鍵：

數(shù)學(xué)任務(wù)使用基于規(guī)則的Math-Verify庫(kù)進(jìn)行準(zhǔn)確性評(píng)估；而代碼任務(wù)則引入了測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)機(jī)制。

目前，對(duì)于代碼生成任務(wù)，現(xiàn)有的強(qiáng)化學(xué)習(xí)工作（如Deepseek-R1）采用基于規(guī)則的獎(jiǎng)勵(lì)策略，即只有生成的代碼通過(guò)給定問(wèn)題的所有測(cè)試用例，解決方案才會(huì)得到獎(jiǎng)勵(lì)。然而，對(duì)于困難的算法問(wèn)題，模型可能永遠(yuǎn)不會(huì)得到任何獎(jiǎng)勵(lì)，從而阻止它從這些具有挑戰(zhàn)性的案例中學(xué)習(xí)，降低了動(dòng)態(tài)采樣的訓(xùn)練效率。

相比之下，MiMo-7B 采用的“測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)”機(jī)制將測(cè)試用例按通過(guò)率分級(jí)，分為嚴(yán)格和軟性兩種獎(jiǎng)勵(lì)方案：

嚴(yán)格獎(jiǎng)勵(lì)要求模型通過(guò)所有低難度測(cè)試用例才能獲得高難度獎(jiǎng)勵(lì)；而軟性獎(jiǎng)勵(lì)則將分?jǐn)?shù)均分給每個(gè)通過(guò)的測(cè)試用例。

這種設(shè)計(jì)有效緩解了復(fù)雜代碼任務(wù)的獎(jiǎng)勵(lì)稀疏問(wèn)題，提升了模型的學(xué)習(xí)效率。

圖7：“測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)機(jī)制”相關(guān)實(shí)驗(yàn)。左圖為測(cè)試用例的通過(guò)率與難度分級(jí)。右圖為不同獎(jiǎng)勵(lì)方案的性能對(duì)比，其中“Vanilla Reward”為傳統(tǒng)獎(jiǎng)勵(lì)機(jī)制，僅當(dāng)生成的代碼通過(guò)所有測(cè)試用例時(shí)給予獎(jiǎng)勵(lì)；“Strict Reward”和“Soft Reward”分別為嚴(yán)格和軟性的測(cè)試難度驅(qū)動(dòng)獎(jiǎng)勵(lì)；實(shí)驗(yàn)結(jié)果表明 Soft Reward 有助于模型在復(fù)雜問(wèn)題上更快學(xué)習(xí)。

為了進(jìn)一步優(yōu)化訓(xùn)練過(guò)程，團(tuán)隊(duì)提出了動(dòng)態(tài)采樣和低難度數(shù)據(jù)重采樣策略（easy data resampling strategy）。動(dòng)態(tài)采樣通過(guò)過(guò)濾完美通過(guò)或完全失敗的樣本，保持批次中樣本的有效梯度；低難度數(shù)據(jù)重采樣則通過(guò)維護(hù)一個(gè)低難度數(shù)據(jù)池，以10%的概率從中采樣，穩(wěn)定了后期訓(xùn)練的策略更新。這些策略共同確保了RL訓(xùn)練的高效性和穩(wěn)定性。

實(shí)驗(yàn)場(chǎng)景與評(píng)估方法

MiMo-7B的評(píng)估覆蓋了廣泛的推理任務(wù)，包括語(yǔ)言理解、科學(xué)問(wèn)答、閱讀理解、數(shù)學(xué)推理和代碼生成等。具體基準(zhǔn)測(cè)試包括BBH、MMLU、AIME、LiveCodeBench等，涵蓋了從通用知識(shí)到專業(yè)領(lǐng)域的多種場(chǎng)景。評(píng)估過(guò)程中，團(tuán)隊(duì)采用了pass@k指標(biāo)，通過(guò)多次采樣評(píng)估模型的推理能力邊界，確保結(jié)果能夠真實(shí)反映模型的潛力。

在后訓(xùn)練評(píng)估中，MiMo-7B-RL與多個(gè)強(qiáng)基準(zhǔn)模型進(jìn)行了對(duì)比，包括GPT-4o、Claude-3.5-Sonnet、OpenAI o1-mini等。采樣參數(shù)設(shè)置為溫度0.6、top-p 0.95，最大生成長(zhǎng)度根據(jù)任務(wù)需求設(shè)置為8,192或32,768 token。這樣的設(shè)置既保證了生成內(nèi)容的多樣性，也適應(yīng)了長(zhǎng)序列推理任務(wù)的需求。

實(shí)驗(yàn)結(jié)果：小模型的大作為

MiMo-7B的實(shí)驗(yàn)結(jié)果令人振奮，無(wú)論是在基礎(chǔ)模型（MiMo-7B-Base）還是RL優(yōu)化后的模型（MiMo-7B-RL）上，都展現(xiàn)出了遠(yuǎn)超預(yù)期的性能。

基礎(chǔ)模型的推理潛能

MiMo-7B-Base在預(yù)訓(xùn)練階段就展現(xiàn)了強(qiáng)大的推理能力。在BBH基準(zhǔn)上，它取得了75.2的得分，超越了同等規(guī)模的Qwen2.5-7B約5個(gè)百分點(diǎn)。在SuperGPQA上，模型在處理研究生級(jí)問(wèn)題時(shí)表現(xiàn)出色，證明了其在復(fù)雜推理任務(wù)中的潛力。在長(zhǎng)上下文理解任務(wù)中，MiMo-7B-Base在RULER基準(zhǔn)的針-in-a-haystack任務(wù)中實(shí)現(xiàn)了近乎完美的檢索性能，同時(shí)在需要長(zhǎng)上下文推理的任務(wù)（如常見(jiàn)詞提取和變量跟蹤）中也顯著優(yōu)于Qwen2.5-7B。

圖8：MiMo-7B-Base在RULER長(zhǎng)上下文理解任務(wù)中的表現(xiàn)。該圖展示了MiMo-7B-Base在大海撈針任務(wù)中的近乎完美檢索性能，以及在常見(jiàn)詞提�。–WE）、頻繁詞提�。‵WE）和變量跟蹤（VT）等長(zhǎng)上下文推理任務(wù)中的優(yōu)異表現(xiàn)。

在數(shù)學(xué)和代碼任務(wù)上，MiMo-7B-Base同樣表現(xiàn)突出。在AIME 2024上，它取得了32.9的得分，遠(yuǎn)超Llama-3.1-8B和Qwen2.5-7B；在LiveCodeBench v5上，它以32.9的得分再次大幅領(lǐng)先。這些結(jié)果表明，MiMo-7B-Base在預(yù)訓(xùn)練階段已具備了超越同規(guī)模模型的推理潛能，為后續(xù)RL訓(xùn)練提供了優(yōu)質(zhì)的起點(diǎn)。

RL優(yōu)化后的驚艷表現(xiàn)

通過(guò)強(qiáng)化學(xué)習(xí)，MiMo-7B-RL將推理能力推向了新的高度。在數(shù)學(xué)任務(wù)上，MiMo-7B-RL在MATH500上取得了95.8的驚人得分，在AIME 2025上達(dá)到了55.4，超越OpenAI o1-mini約4.7個(gè)百分點(diǎn)。在代碼生成任務(wù)上，MiMo-7B-RL的表現(xiàn)尤為亮眼：在LiveCodeBench v5上，它以57.8的得分顯著領(lǐng)先o1-mini；在更新的LiveCodeBench v6上，它取得了49.3的得分，超出QwQ-32B-Preview逾10個(gè)百分點(diǎn)，展現(xiàn)了其在算法代碼生成中的穩(wěn)健性和領(lǐng)先優(yōu)勢(shì)。

表1：MiMo-7B和其他主流模型的比較

值得注意的是，MiMo-7B-RL在通用任務(wù)上也保持了競(jìng)爭(zhēng)力。盡管RL訓(xùn)練僅針對(duì)數(shù)學(xué)和代碼任務(wù)優(yōu)化，模型在MMLU-Pro、GPQA Diamond等通用基準(zhǔn)上的表現(xiàn)依然超過(guò)了QwQ-32B-Preview和DeepSeek-R1-Distill-Qwen-7B。這表明，MiMo-7B的優(yōu)化策略不僅提升了特定領(lǐng)域的推理能力，還在一定程度上保留了模型的通用性。

表2：MiMo-7B系列模型在代碼和數(shù)學(xué)推理基準(zhǔn)上的性能。該表展示了MiMo-7B在LiveCodeBench和AIME等基準(zhǔn)上的優(yōu)異表現(xiàn)，特別是在代碼生成和數(shù)學(xué)推理任務(wù)中，MiMo-7B-RL的得分顯著領(lǐng)先于其他模型，凸顯了其強(qiáng)大的推理能力。RL訓(xùn)練的洞察

團(tuán)隊(duì)在RL訓(xùn)練過(guò)程中還發(fā)現(xiàn)了一些有趣的現(xiàn)象。例如，直接從基礎(chǔ)模型進(jìn)行RL訓(xùn)練（MiMo-7B-RL-Zero）展現(xiàn)了更強(qiáng)的性能增長(zhǎng)趨勢(shì)，但在最終性能上略遜于從SFT模型開(kāi)始的MiMo-7B-RL。這表明，適當(dāng)?shù)腟FT可以為RL提供更好的起點(diǎn)，但過(guò)度依賴輕量級(jí)SFT可能限制模型的推理潛能。

圖9：三種MiMo模型變體在RL過(guò)程中的性能比較。

此外，在訓(xùn)練后期，基礎(chǔ)模型在數(shù)學(xué)和代碼任務(wù)間的性能平衡變得困難，數(shù)學(xué)任務(wù)容易出現(xiàn)獎(jiǎng)勵(lì)利用（reward hacking）問(wèn)題，而代碼任務(wù)因測(cè)試用例的嚴(yán)格驗(yàn)證更為穩(wěn)健。這提示未來(lái)的RL訓(xùn)練需要更加注重?cái)?shù)學(xué)問(wèn)題集的質(zhì)量。

為什么MiMo-7B值得關(guān)注？

MiMo-7B的成功不僅在于其卓越的性能，更在于它為語(yǔ)言模型推理研究指明了新的方向。傳統(tǒng)的觀念認(rèn)為，推理能力需要依賴大規(guī)模模型，但MiMo-7B用70億參數(shù)的“小身板”證明了高效數(shù)據(jù)策略和創(chuàng)新訓(xùn)練方法的巨大潛力。其三階段數(shù)據(jù)混合、MTP模塊、測(cè)試難度驅(qū)動(dòng)獎(jiǎng)勵(lì)等創(chuàng)新，為開(kāi)發(fā)輕量級(jí)高性能模型提供了寶貴經(jīng)驗(yàn)。

更重要的是，MiMo-7B的開(kāi)源為研究者和開(kāi)發(fā)者打開(kāi)了一扇大門(mén)。無(wú)論是學(xué)術(shù)研究還是行業(yè)應(yīng)用，MiMo-7B的開(kāi)源模型和詳細(xì)的技術(shù)報(bào)告都為進(jìn)一步探索提供了堅(jiān)實(shí)基礎(chǔ)。對(duì)于那些希望在資源有限的環(huán)境下開(kāi)發(fā)強(qiáng)大推理模型的團(tuán)隊(duì)來(lái)說(shuō)，MiMo-7B無(wú)疑是一個(gè)值得借鑒的范例。

結(jié)語(yǔ)

MiMo-7B的故事是一場(chǎng)關(guān)于創(chuàng)新與效率的冒險(xiǎn)。從預(yù)訓(xùn)練的數(shù)據(jù)優(yōu)化到后訓(xùn)練的RL突破，小米 LLM Core 團(tuán)隊(duì)用科學(xué)的方法和巧妙的設(shè)計(jì)，打造了一款在推理任務(wù)中大放異彩的輕量級(jí)模型。無(wú)論是在AIME的數(shù)學(xué)難題上，還是在LiveCodeBench的代碼挑戰(zhàn)中，MiMo-7B都以超越期待的表現(xiàn)證明了“小模型”也能有“大作為”。

如果你對(duì)語(yǔ)言模型的未來(lái)充滿好奇，或者正在尋找一款高效的推理工具，不妨深入了解MiMo-7B。它的開(kāi)源資源和技術(shù)洞察或許能為你的下一個(gè)項(xiàng)目帶來(lái)靈感。你認(rèn)為MiMo-7B的成功會(huì)如何影響未來(lái)的模型開(kāi)發(fā)？歡迎在評(píng)論區(qū)分享你的看法！

-- 完 --

       原文標(biāo)題 : 小米開(kāi)源首個(gè)7B推理AI大模型！聊聊小米如何通過(guò)架構(gòu)創(chuàng)新和獎(jiǎng)勵(lì)模型等訓(xùn)練策略創(chuàng)新，媲美o1-mini