訂閱
糾錯(cuò)
加入自媒體

深度丨前OpenAI聯(lián)創(chuàng)Ilya Sutskever:情感是終極算法,盈利需價(jià)值轉(zhuǎn)向

前言

當(dāng)整個(gè)AI行業(yè)還在算力堆砌的賽道上狂飆時(shí),一位見證了深度學(xué)習(xí)從萌芽到爆發(fā)的核心親歷者,卻敲響了轉(zhuǎn)向的警鐘。

他是Ilya Sutskever,OpenAI聯(lián)合創(chuàng)始人、GPT系列核心締造者,如今創(chuàng)辦了專注于安全超級(jí)智能的SSI公司。

這份兼具技術(shù)深度與人文關(guān)懷的思考,不僅為AI從規(guī)模競(jìng)賽轉(zhuǎn)向價(jià)值深耕提供了全新坐標(biāo)系,更讓業(yè)界重新審視技術(shù)演進(jìn)的本質(zhì)與方向

作者 | 方文三

圖片來源 |  網(wǎng) 絡(luò) 

圖片

Scaling時(shí)代落幕,從確定性擴(kuò)張到創(chuàng)新瓶頸

[2012年到2020年是研究時(shí)代,2020年到2025年是Scaling時(shí)代,而現(xiàn)在,我們正回到擁有強(qiáng)大計(jì)算機(jī)的研究時(shí)代。]Ilya的這一論斷,精準(zhǔn)概括了AI行業(yè)的迭代邏輯。

Scaling時(shí)代的核心是一套[低風(fēng)險(xiǎn)配方],將算力、數(shù)據(jù)按比例投入特定規(guī)模的神經(jīng)網(wǎng)絡(luò),就能穩(wěn)定獲得效果提升。

這種模式讓大公司趨之若鶩,無(wú)需復(fù)雜創(chuàng)新,只需持續(xù)加碼資源,就能看到明確回報(bào)。

預(yù)訓(xùn)練的突破更是印證了這套邏輯,海量自然數(shù)據(jù)如同世界投射在文字上的倒影,模型通過吸收這些數(shù)據(jù),就能在各類任務(wù)中展現(xiàn)出基礎(chǔ)能力。

但這套邏輯的短板早已顯現(xiàn),數(shù)據(jù)的有限性,預(yù)訓(xùn)練再?gòu)?qiáng)大,也終有耗盡優(yōu)質(zhì)數(shù)據(jù)的一天。

其次是算力堆砌的邊際效益遞減,[單純把規(guī)模擴(kuò)大100倍,不會(huì)帶來質(zhì)的飛躍]。

Ilya直言,當(dāng)前算力已經(jīng)達(dá)到驚人規(guī)模,但模型的核心能力并未隨之實(shí)現(xiàn)突破性提升,反而陷入了同質(zhì)化競(jìng)爭(zhēng)的困境。

更致命的是,Scaling模式催生了[路徑依賴],當(dāng)所有公司都聚焦于擴(kuò)大規(guī)模,行業(yè)便陷入了[公司數(shù)量多于有價(jià)值想法]的尷尬境地。

硅谷流傳的[想法廉價(jià),執(zhí)行至上]在此時(shí)失效,不是執(zhí)行不重要,而是真正的創(chuàng)新想法已經(jīng)成為稀缺資源。

Ilya觀察到,如今行業(yè)的瓶頸不再是算力,而是缺乏能突破現(xiàn)有范式的底層創(chuàng)新。

圖片

泛化能力的鴻溝,AI為何[高分低能]

[現(xiàn)在的AI就像一個(gè)練習(xí)了10000小時(shí)編程競(jìng)賽的學(xué)生,能快速解決所有見過的題目,卻無(wú)法在真實(shí)場(chǎng)景中觸類旁通。]

Ilya用一個(gè)生動(dòng)的類比,點(diǎn)出了當(dāng)前AI的核心缺陷:泛化能力遠(yuǎn)遜于人類。

這種缺陷最直觀的表現(xiàn),是評(píng)測(cè)分?jǐn)?shù)與真實(shí)表現(xiàn)的巨大斷層。

模型可以在編程競(jìng)賽、學(xué)術(shù)測(cè)試中取得優(yōu)異成績(jī),卻會(huì)在簡(jiǎn)單的實(shí)際任務(wù)中犯低級(jí)錯(cuò)誤。

修復(fù)一個(gè)bug卻引入另一個(gè),在兩個(gè)錯(cuò)誤之間反復(fù)橫跳;能寫出復(fù)雜代碼,卻缺乏基本的架構(gòu)審美和調(diào)試邏輯。

強(qiáng)化學(xué)習(xí)(RL)訓(xùn)練讓模型變得[視野狹隘],為了迎合特定評(píng)測(cè)指標(biāo),公司會(huì)專門設(shè)計(jì)RL訓(xùn)練環(huán)境,導(dǎo)致模型在優(yōu)化單一能力的同時(shí),喪失了基礎(chǔ)的靈活應(yīng)變能力。

預(yù)訓(xùn)練的海量數(shù)據(jù)優(yōu)勢(shì)反而成了枷鎖,模型通過死記硬背掌握了各類技巧,卻沒有真正理解背后的邏輯,自然無(wú)法遷移到新場(chǎng)景。

這種差距源于兩點(diǎn),一是人類的樣本效率極高,能從極少案例中提取核心邏輯二是人類擁有更優(yōu)的底層學(xué)習(xí)機(jī)制,而非依賴數(shù)據(jù)堆砌。

Ilya進(jìn)一步指出,人類的樣本效率優(yōu)勢(shì)可能來自進(jìn)化賦予的先驗(yàn)知識(shí),視覺、聽覺、運(yùn)動(dòng)能力等經(jīng)過億萬(wàn)年進(jìn)化,已經(jīng)形成了高效的內(nèi)置機(jī)制。

但在語(yǔ)言、數(shù)學(xué)、編程等新興領(lǐng)域,人類依然表現(xiàn)出更強(qiáng)的學(xué)習(xí)能力,這說明真正的關(guān)鍵是人類擁有更先進(jìn)的機(jī)器學(xué)習(xí)算法,而這正是當(dāng)前AI缺失的核心。

破局關(guān)鍵:情感作為終極價(jià)值函數(shù)

[一個(gè)失去情感處理能力的人,即使智商正常,也會(huì)變得無(wú)法做出任何有效決策,選襪子要花幾小時(shí),還會(huì)做出糟糕的財(cái)務(wù)選擇。]

Ilya引用的神經(jīng)科學(xué)案例,揭示了一個(gè)顛覆性觀點(diǎn):情感并非理性的對(duì)立面,而是人類內(nèi)置的[終極價(jià)值函數(shù)],是智能高效運(yùn)作的基石。

在當(dāng)前的AI訓(xùn)練中,強(qiáng)化學(xué)習(xí)的常規(guī)做法是[結(jié)果導(dǎo)向],模型完成整個(gè)任務(wù)后,才能獲得一次性評(píng)分反饋。

這意味著,對(duì)于耗時(shí)較長(zhǎng)的任務(wù),模型在最終結(jié)果出來前無(wú)法獲得任何有效學(xué)習(xí)信號(hào),效率極低。

而情感對(duì)應(yīng)的價(jià)值函數(shù),恰恰解決了這一問題。

它能在任務(wù)過程中即時(shí)反饋[做得好或不好],讓模型無(wú)需等待最終結(jié)果就能調(diào)整方向。

比如下棋時(shí)丟了關(guān)鍵棋子,人類瞬間就能意識(shí)到失誤,無(wú)需等到棋局結(jié)束。

編程時(shí)探索的方向出錯(cuò),開發(fā)者很快就能感知到[此路不通],及時(shí)回溯。

這種即時(shí)反饋機(jī)制,能大幅提升學(xué)習(xí)效率,讓模型避免在無(wú)效路徑上浪費(fèi)資源。

Ilya堅(jiān)信,[情感價(jià)值函數(shù)未來一定會(huì)被廣泛使用,簡(jiǎn)單的東西往往能在更廣泛的情境下發(fā)揮作用]。

更重要的是,人類的情感價(jià)值函數(shù)具有極強(qiáng)的魯棒性。

除了藥物成癮等極少數(shù)例外,這套機(jī)制能在不同場(chǎng)景下穩(wěn)定運(yùn)作,指導(dǎo)人類做出相對(duì)合理的決策。

而當(dāng)前AI的價(jià)值判斷體系高度依賴人工設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù),既缺乏靈活性,又容易出現(xiàn)[獎(jiǎng)勵(lì)黑客]問題,為了迎合指標(biāo)而偏離真實(shí)需求。

Ilya強(qiáng)調(diào),情感價(jià)值函數(shù)并非要讓AI擁有人類的喜怒哀樂,而是要借鑒其核心邏輯。

構(gòu)建一套通用、穩(wěn)健的即時(shí)反饋機(jī)制,讓模型像人類一樣高效學(xué)習(xí)和決策,這不是對(duì)現(xiàn)有技術(shù)的小修小補(bǔ),而是對(duì)AI訓(xùn)練范式的根本性革新。

超級(jí)智能未來的時(shí)間線、對(duì)齊與均衡

[未來5-20年,可能會(huì)出現(xiàn)具備人類級(jí)別學(xué)習(xí)能力、能走向超智能的系統(tǒng)。]

在他看來,超級(jí)智能的核心定義不是[能做人類所有工作],而是[能夠?qū)W會(huì)做所有工作]的成長(zhǎng)型心智。

這種智能體一旦被部署到經(jīng)濟(jì)體系中,將引發(fā)前所未有的快速增長(zhǎng)。

高效的學(xué)習(xí)能力結(jié)合廣泛的應(yīng)用場(chǎng)景,會(huì)形成強(qiáng)大的經(jīng)濟(jì)驅(qū)動(dòng)力。

但增長(zhǎng)速度并非無(wú)限快,[世界規(guī)模龐大,實(shí)體事物的運(yùn)轉(zhuǎn)有其自身節(jié)奏,不同國(guó)家的規(guī)則差異也會(huì)帶來影響]。

對(duì)齊問題是超級(jí)智能發(fā)展的核心命題,Ilya提出了一個(gè)極具人文關(guān)懷的觀點(diǎn):[構(gòu)建關(guān)心所有感知生命的AI,比只關(guān)心人類的AI更容易,也更根本。]

未來的感知體中,AI可能占絕大多數(shù),若只聚焦人類利益,反而可能導(dǎo)致對(duì)齊失效。

而基于同理心的對(duì)齊,如同人類通過鏡像神經(jīng)元理解他人是更穩(wěn)健的選擇,因?yàn)樗细咝У恼J(rèn)知邏輯。

這種對(duì)齊不是簡(jiǎn)單的[設(shè)定規(guī)則],而是要將[關(guān)心感知生命]內(nèi)化為AI的底層價(jià)值。

Ilya認(rèn)為,當(dāng)前對(duì)齊的難點(diǎn)在于AI學(xué)習(xí)和優(yōu)化人類價(jià)值觀的能力脆弱,本質(zhì)上還是泛化能力不足的問題。

一旦AI的泛化能力達(dá)到人類水平,對(duì)齊的難度也會(huì)大幅降低。

對(duì)于長(zhǎng)期均衡,Ilya提出了一個(gè)大膽的設(shè)想:人類與AI的部分融合。

通過類似[增強(qiáng)版Neuralink]的技術(shù),讓人類能直接理解AI的認(rèn)知,彌合物種間的理解鴻溝。

[當(dāng)AI處于某種情境時(shí),人類也能完全卷入其中,這可能是終極平衡的答案。]

而在市場(chǎng)層面,Ilya預(yù)判,未來的AI行業(yè)不會(huì)被單一巨頭壟斷,而是會(huì)走向?qū)I(yè)化分工。

[競(jìng)爭(zhēng)喜歡專業(yè)化,就像生物進(jìn)化中的生態(tài)位,不同的AI公司會(huì)專注于不同的復(fù)雜領(lǐng)域,形成多元的行業(yè)生態(tài)。]

那些繼續(xù)沿用Scaling思路的公司,可能會(huì)獲得驚人收入,但很難實(shí)現(xiàn)高額利潤(rùn),同質(zhì)化競(jìng)爭(zhēng)會(huì)不斷壓縮利潤(rùn)空間。

研究品味是頂尖科學(xué)家的底層邏輯

[丑陋在研究中沒有立足之地,好的研究需要兼具美、簡(jiǎn)潔、優(yōu)雅,以及來自大腦的正確靈感。]當(dāng)被問及[什么是好的研究品味]時(shí),Ilya的回答直指核心。

在他看來,頂尖的AI研究離不開對(duì)人類本質(zhì)的正確觀察。

人工神經(jīng)元的想法源于大腦的結(jié)構(gòu),分布式表征的靈感來自大腦的學(xué)習(xí)機(jī)制,這些成功的創(chuàng)新都不是憑空想象,而是對(duì)自然智能的深刻借鑒。

但這種借鑒不是盲目模仿,而是提取核心邏輯。

比如大腦的神經(jīng)元數(shù)量龐大,所以模型需要足夠的參數(shù)規(guī)模;大腦通過調(diào)整神經(jīng)元連接學(xué)習(xí),所以模型需要局部學(xué)習(xí)規(guī)則。

這種[自上而下的信念],是支撐研究者穿越挫折的關(guān)鍵。

Ilya回憶,在研究過程中,實(shí)驗(yàn)結(jié)果與理論預(yù)期相悖是常事,此時(shí)不能輕易放棄,而是要基于對(duì)[美與簡(jiǎn)潔]的判斷,堅(jiān)持調(diào)試方向。

[有時(shí)候數(shù)據(jù)告訴你錯(cuò)了,但可能只是實(shí)驗(yàn)有bug,而不是想法本身有問題。]

這種品味還體現(xiàn)在對(duì)研究方向的選擇上。在Scaling時(shí)代,所有人都聚焦于擴(kuò)大規(guī)模,而Ilya卻敏銳地看到了泛化能力和價(jià)值函數(shù)的核心地位。

這種洞察力,源于對(duì)AI本質(zhì)的深刻思考,智能的核心不是規(guī)模,而是高效的學(xué)習(xí)和決策機(jī)制。

Ilya的研究哲學(xué),本質(zhì)上是對(duì)[簡(jiǎn)單性]的追求。

復(fù)雜的技術(shù)可能在特定場(chǎng)景下有用,但只有簡(jiǎn)單、通用的底層邏輯,才能在更廣泛的情境中發(fā)揮作用。

這與他對(duì)情感價(jià)值函數(shù)的推崇一脈相承,情感看似簡(jiǎn)單,卻能成為人類智能的核心支柱。

結(jié)尾:

Ilya的訪談,本質(zhì)上是對(duì)AI行業(yè)的一次[撥亂反正]。

當(dāng)所有人都沉迷于算力、數(shù)據(jù)的規(guī)模競(jìng)賽時(shí),需要有人提醒:智能的本質(zhì)是泛化與高效,技術(shù)的突破源于底層創(chuàng)新,而不是資源的堆砌。

未來的AI競(jìng)爭(zhēng),不再是算力的比拼,而是想法的較量;不再是規(guī)模的擴(kuò)張,而是價(jià)值的深耕。

超級(jí)智能的到來或許還有5-20年,但AI行業(yè)的轉(zhuǎn)型已經(jīng)迫在眉睫。

正如Ilya所言,[逐步部署和讓世界感受AI的能力,比純粹的思考更重要]。

部分資料參考:經(jīng)緯創(chuàng)投:《前OpenAI 聯(lián)創(chuàng) Ilya Sutskever:未來,AI公司可能根本賺不到利潤(rùn)》,混沌學(xué)園:《AI大神伊利亞宣告 Scaling時(shí)代終結(jié)!斷言AGI的概念被誤導(dǎo)》,Web3天空之城:《Ilya Sutskever 重磅3萬(wàn)字訪談:AI告別規(guī);瘯r(shí)代,回歸[研究時(shí)代]的本質(zhì)》

       原文標(biāo)題 : 深度丨前OpenAI聯(lián)創(chuàng)Ilya Sutskever:情感是終極算法,盈利需價(jià)值轉(zhuǎn)向

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    人工智能 獵頭職位 更多
    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)