他們對(duì) LSTM 和 Transformer 進(jìn)行了擴(kuò)展性實(shí)驗(yàn)，發(fā)現(xiàn)它們的計(jì)算最優(yōu)擴(kuò)展規(guī)律存在指數(shù)級(jí)差異；而對(duì)于許多其他創(chuàng)新，擴(kuò)展性差異則很小。

這些實(shí)驗(yàn)表明，與通常的假設(shè)相反，算法的效率提升與計(jì)算規(guī)模密切相關(guān)。小型模型的算法進(jìn)步遠(yuǎn)比之前假設(shè)的要慢，并且算法效率的衡量指標(biāo)與此密切相關(guān)。

兩種算法

過(guò)去十年人工智能的進(jìn)步主要由計(jì)算資源的快速增長(zhǎng)以及架構(gòu)、優(yōu)化和其他訓(xùn)練實(shí)踐中算法效率的不斷創(chuàng)新所驅(qū)動(dòng)。但是，我們?nèi)匀蝗狈��?duì)算法進(jìn)步的清晰評(píng)估。

為了回答這些問(wèn)題，研究人員采用了三種互補(bǔ)的方法：

1. 對(duì)語(yǔ)言模型中重要的算法改進(jìn)進(jìn)行了消融實(shí)驗(yàn)；

2. 進(jìn)行了擴(kuò)展性實(shí)驗(yàn)，以衡量不同架構(gòu)間最優(yōu)擴(kuò)展性的差異；

3. 我們對(duì)數(shù)據(jù)和參數(shù)擴(kuò)展性的轉(zhuǎn)變進(jìn)行了理論分析。

在尺度不變的算法中，研究團(tuán)隊(duì)引入了標(biāo)準(zhǔn)計(jì)算等效增益（CEG）框架的廣義概念，并允許算法創(chuàng)新在不同的計(jì)算規(guī)模下具有不同的效率增益。

團(tuán)隊(duì)使用消融實(shí)驗(yàn)，在 360 萬(wàn)參數(shù)變換器模型上計(jì)算算法的等效增益乘數(shù)。通過(guò)分別使用較舊的激活函數(shù)和較新的激活函數(shù)運(yùn)行 Transformer 模型，可以達(dá)到固定性能水平所需的計(jì)算量差異來(lái)量化效率提升。

發(fā)現(xiàn)表明，位置編碼可能對(duì)訓(xùn)練計(jì)算效率產(chǎn)生一定影響。與正弦編碼相比，旋轉(zhuǎn)編碼的訓(xùn)練效率提高了 44%。

在三種歸一方法的測(cè)試中，團(tuán)隊(duì)發(fā)現(xiàn)從后 RMSNorm 過(guò)渡到預(yù) RMSNorm 可顯著提升 87%，而從預(yù)層歸一化模型過(guò)渡到預(yù) RMSNorm 模型的提升僅為 9%。

實(shí)驗(yàn)結(jié)果表明，從 LSTM 切換到 Modern Transformer 的總效率提升為 6.28 倍，而從 LSTM 切換到 Retro Transformer 的效率提升為 4.69 倍。

在尺度相關(guān)的算法中，研究人員選擇了一個(gè)標(biāo)準(zhǔn)的 LSTM 模型。在測(cè)量的最小尺度下，LSTM 模型的計(jì)算效率僅比 Transformer 模型低 6.28 倍。

算法進(jìn)展很大程度上取決于計(jì)算和參考點(diǎn)

研究發(fā)現(xiàn)，隨著計(jì)算預(yù)算的指數(shù)級(jí)增長(zhǎng)，算法進(jìn)步速度實(shí)際上可能更多地是由計(jì)算規(guī)模的規(guī)律性增長(zhǎng)驅(qū)動(dòng)，而非新技術(shù)的發(fā)現(xiàn)。

在 2017 年至 2025 年間，絕大多數(shù)算法進(jìn)步可歸因于兩項(xiàng)與規(guī)模相關(guān)的創(chuàng)新：從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變以及從 Chinchilla 擴(kuò)展到重新平衡。

在總共測(cè)得的 21,400 倍的進(jìn)步中，846 倍的進(jìn)步是通過(guò)從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變實(shí)現(xiàn)的，而近 10 倍的進(jìn)步則歸功于 Chinchilla 重新平衡。

基于 LSTM 的模型 Myields 的計(jì)算效率隨時(shí)間 t 呈指數(shù)增長(zhǎng)，年增長(zhǎng)率約為 63%。然而，若以密集 Transformer 為基準(zhǔn)進(jìn)行衡量，則倍數(shù)為 2，因此增長(zhǎng)率為 0%。

由此可見(jiàn)，選擇一個(gè)參考點(diǎn)會(huì)導(dǎo)致算法效率呈指數(shù)增長(zhǎng)，而選擇另一個(gè)參考點(diǎn)則會(huì)導(dǎo)致零增長(zhǎng)。

Kaplan-Chinchilla 過(guò)渡后 CEG 倍數(shù)會(huì)明顯增長(zhǎng)，表明這些創(chuàng)新甚至可能在不同的計(jì)算規(guī)模上表現(xiàn)出可變的增長(zhǎng)率。

研究人員表明，目前實(shí)驗(yàn)還存在以下幾個(gè)局限性：

• 規(guī)模相對(duì)較小，且并不全面

• 超參數(shù)的不穩(wěn)定性

• 專注于訓(xùn)練的浮點(diǎn)運(yùn)算效率，忽略許多關(guān)鍵的創(chuàng)新

研究人員必須考察其改進(jìn)的規(guī)模依賴性，才能確定其創(chuàng)新的真正影響。

這些發(fā)現(xiàn)對(duì)社會(huì)和人工智能治理具有重要意義。如果效率提升主要源于規(guī)模依賴型創(chuàng)新，那么計(jì)算規(guī)模的限制都可能大幅減緩人工智能算法的進(jìn)步。

參考資料：

https://arxiv.org/pdf/2511.21622