Titans 是具體的架構(gòu)（工具），而 MIRAS 是推廣這些方法的理論框架（藍(lán)圖）。它們共同推進(jìn)了測(cè)試時(shí)記憶的概念，即人工智能模型能夠在運(yùn)行過程中，無需專門的離線重新訓(xùn)練，就能通過整合意外信息來維持長期記憶。

MIRAS 框架實(shí)現(xiàn)了向?qū)崟r(shí)自適應(yīng)的重要轉(zhuǎn)變。該架構(gòu)并非將信息壓縮成靜態(tài)狀態(tài)，而是隨著數(shù)據(jù)流的流入主動(dòng)學(xué)習(xí)并更新自身參數(shù)。這一關(guān)鍵機(jī)制使模型能夠即時(shí)將新的、具體的細(xì)節(jié)融入其核心知識(shí)中。

泰坦：快速學(xué)習(xí)新知識(shí)

雖然注意力機(jī)制擅長精確的短期記憶，但 Titans 引入了一種新型的神經(jīng)長期記憶模塊。該模塊以深度神經(jīng)網(wǎng)絡(luò)（一個(gè)多層感知器 ）的形式運(yùn)行。這種記憶模塊顯著提升了模型的表達(dá)能力，使其能夠在不丟失重要上下文的情況下概括大量信息。

值得注意的是，Titans 并非被動(dòng)地存儲(chǔ)數(shù)據(jù)，而是主動(dòng)學(xué)習(xí)如何識(shí)別并保留連接整個(gè)輸入數(shù)據(jù)中各個(gè)標(biāo)記的重要關(guān)系和概念主題。

在 Titans 的背景下，當(dāng)模型檢測(cè)到它當(dāng)前記憶的內(nèi)容與新輸入告訴它的內(nèi)容之間存在較大差異，會(huì)產(chǎn)生一個(gè)“驚喜指標(biāo)”。

該模型使用這種內(nèi)部誤差信號(hào)，使得 Titans 架構(gòu)能夠選擇性地僅使用最新穎和打破上下文的信息來更新其長期記憶，從而保持整個(gè)過程的快速和高效。

模型還分別使用動(dòng)量（捕捉相關(guān)后續(xù)信息）和遺忘（允許模型丟棄不再需要的信息）兩個(gè)因素來改進(jìn)機(jī)制。

MIRAS：序列建模的統(tǒng)一視圖

MIRAS 的獨(dú)特性在于它看待人工智能建模的方式。它把不同的架構(gòu)視為解決同一問題的不同途徑：高效地將新信息與舊信息相結(jié)合，同時(shí)又不遺漏關(guān)鍵概念。

MIRAS 通過四個(gè)關(guān)鍵設(shè)計(jì)選擇定義了序列模型：

1. 內(nèi)存架構(gòu)：存儲(chǔ)信息的結(jié)構(gòu)（例如，向量、矩陣或像 Titans 中的那種深度多層感知器）。

2. 注意力偏差：模型優(yōu)化的內(nèi)部學(xué)習(xí)目標(biāo)，決定了模型優(yōu)先考慮的內(nèi)容。

3. 記憶保持閘門：記憶調(diào)節(jié)器。MIRAS 將“遺忘機(jī)制”重新解釋為特定的調(diào)節(jié)形式，以平衡新知識(shí)的學(xué)習(xí)和對(duì)過去知識(shí)的保留。

4. 內(nèi)存算法：用于更新內(nèi)存的優(yōu)化算法。

利用 MIRAS，研究人員創(chuàng)建了三個(gè)特定的無注意力模型：

1. YAAD：采用更溫和的數(shù)學(xué)懲罰（ Huber 損失 ）來處理錯(cuò)誤，因此不會(huì)對(duì)個(gè)別問題反應(yīng)過度。這使得模型在輸入數(shù)據(jù)混亂或不一致的情況下也更加穩(wěn)健。

2. MONETA：該模型探索了使用更復(fù)雜、更嚴(yán)格的數(shù)學(xué)懲罰方法。

3. MEMORA：該模型致力于通過強(qiáng)制其內(nèi)存像嚴(yán)格的概率映射一樣運(yùn)行，來實(shí)現(xiàn)最佳的內(nèi)存穩(wěn)定性。通過這種約束，它確保每次更新內(nèi)存狀態(tài)時(shí)，變化都得到控制和平衡。但是，所有成功的現(xiàn)有序列模型都依賴均方誤差 (MSE) 或點(diǎn)積相似度來確定其偏差和保留率。這種依賴性可能使模型對(duì)異常值敏感，并限制其表達(dá)能力。

實(shí)驗(yàn)結(jié)果

在標(biāo)準(zhǔn)語言建模數(shù)據(jù)集和零樣本推理任務(wù)中，模型始終表現(xiàn)出更高的準(zhǔn)確率。

消融實(shí)驗(yàn)表明，比較相同大小但深度不同的長期記憶模塊時(shí)，記憶深度更深的模塊在語言建模中始終表現(xiàn)出更低的困惑度。此外，它們還展現(xiàn)出更好的擴(kuò)展性，即使序列長度顯著增加，也能保持性能。

在要求對(duì)分布在極長文檔中的事實(shí)進(jìn)行推理的 BABILong 基準(zhǔn)測(cè)試中，Titans 的性能優(yōu)于所有基線模型，包括像 GPT-4 這樣規(guī)模龐大的模型，盡管其參數(shù)量要少得多。Titans 還進(jìn)一步證明了其能夠有效地?cái)U(kuò)展到超過 200 萬個(gè) token 的上下文窗口大小。相關(guān)人員表示，這項(xiàng)研究為新一代序列模型打開了大門，這些模型將循環(huán)神經(jīng)網(wǎng)絡(luò)的高效性與長上下文人工智能時(shí)代所需的表達(dá)能力相結(jié)合。

參考資料：

https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/