訂閱
糾錯(cuò)
加入自媒體

百度“飛槳”是怎么成為世界第三的?

導(dǎo)語(yǔ):由于百度發(fā)展的局限性,使得飛槳在海外的應(yīng)用受限。未來(lái)如何將飛槳推到國(guó)際市場(chǎng),講好AI的故事,恐怕是百度要在2022年認(rèn)真考慮的問(wèn)題。

出品丨數(shù)科社   作者丨檸溪

國(guó)內(nèi)人工智能產(chǎn)業(yè)市場(chǎng)在2021年開(kāi)始迎來(lái)了大爆發(fā)。

無(wú)論是蘿卜快跑的自動(dòng)駕駛出租車,還是智能識(shí)圖、語(yǔ)音識(shí)別與輸入、影音剪輯等方面,層出不窮的人工智能技術(shù)極大的提升了人們生活的便利性和科技感。

龐大的市場(chǎng)需求也助力了很多沖擊資本市場(chǎng)的大型科技企業(yè)。AI四小龍里商湯上市和剩余幾家紛紛沖擊IPO就是一個(gè)重要的佐證。

2021年人工智能領(lǐng)域的算法分析師、程序員、工程師,已經(jīng)成為最新互聯(lián)網(wǎng)就業(yè)市場(chǎng)上搶手的香餑餑。尤其是人工智能規(guī)劃和算法的精通者,在其中占有更大的優(yōu)勢(shì)。

更有意思的是,曾幾何時(shí)幾乎全部做人工智能開(kāi)發(fā)的程序員、工程師和算法分析師,用的深度學(xué)習(xí)框架都來(lái)自美國(guó)。TensorFlow、PyTorch雖然是開(kāi)源項(xiàng)目,但都在美國(guó)公司掌控之下,不確定性如影隨形

迫切需要替代品的背景下,已經(jīng)歷經(jīng)6年開(kāi)發(fā)并逐漸成熟的百度飛槳,成為越來(lái)越多中國(guó)人工智能開(kāi)發(fā)工程師和算法分析師的優(yōu)選。

百度也借此舉辦了多期人工智能規(guī)劃師的培訓(xùn),試圖利用自己的經(jīng)驗(yàn)為中國(guó)人工智能領(lǐng)域提供高水平的人才儲(chǔ)備。

伴隨著應(yīng)用飛槳項(xiàng)目和產(chǎn)業(yè)端結(jié)合的越來(lái)越頻繁緊密,截至目前,飛槳所擁有的工業(yè)產(chǎn)業(yè)模型超過(guò)300個(gè),已逐漸成為一個(gè)非常易于開(kāi)發(fā)的通用性人工智能深度學(xué)習(xí)平臺(tái)。

最新信息,在2021年年底,飛槳已經(jīng)超越其他競(jìng)爭(zhēng)對(duì)手,穩(wěn)居兩個(gè)老牌深度學(xué)習(xí)框架之后,成為全球第三大深度學(xué)習(xí)框架平臺(tái)。

在核心軟件開(kāi)發(fā)領(lǐng)域,這可以說(shuō)是首個(gè)成為主流應(yīng)用開(kāi)發(fā)工具的中國(guó)的平臺(tái)。很多關(guān)心人工智能行業(yè)的人不禁要問(wèn):他們是怎么做到的?

01丨深度學(xué)習(xí)平臺(tái)的能力

很久以前,在人工智能領(lǐng)域剛剛開(kāi)始的時(shí)候,所有的項(xiàng)目都是從零起步。比如,人們要想做出一個(gè)圖形處理的項(xiàng)目,就必須從攝像頭調(diào)取,而這樣的動(dòng)作,得寫(xiě)相應(yīng)的支持程序。

因此2015年之前,世界人工智能領(lǐng)域的項(xiàng)目進(jìn)度比較慢。畢竟熟練的工程師和程序員就這些,后續(xù)的人員,想進(jìn)入這個(gè)領(lǐng)域還需要進(jìn)行長(zhǎng)時(shí)間的學(xué)習(xí)。

這為深度學(xué)習(xí)框架的出現(xiàn)提供了強(qiáng)大的需求和促動(dòng)力。

當(dāng)時(shí),美國(guó)谷歌公司和另一個(gè)從谷歌出來(lái)的資深程序員,提出了兩個(gè)深度學(xué)習(xí)的開(kāi)發(fā)平臺(tái)與框架。這就是當(dāng)前使用人數(shù)最多的ensorFlow和PyTorch。

人工智能最早的應(yīng)用其實(shí)是在數(shù)據(jù)標(biāo)注,也就是窮舉的方式列舉所有遇到問(wèn)題時(shí)機(jī)器應(yīng)該產(chǎn)生的反應(yīng),但這并不是真正的人工智能或者說(shuō)應(yīng)該算偽人工智能。從谷歌2016年推出超級(jí)人工智能阿爾法狗之后,深度學(xué)習(xí)成為很多人工智能公司追求的系統(tǒng)技術(shù)基礎(chǔ)。而阿爾法狗的底層框架,正是建立在TensorFlow的平臺(tái)之上。

很快,TensorFlow、PyTorch這兩個(gè)新生的深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)框架迅速在業(yè)內(nèi)走紅,成為后續(xù)各個(gè)創(chuàng)業(yè)項(xiàng)目技術(shù)積累的基礎(chǔ)。

所謂深度學(xué)習(xí)框架,其實(shí)就是首先提供一個(gè)深度學(xué)習(xí)的內(nèi)部系統(tǒng),可以符合多種行業(yè)的應(yīng)用能通過(guò)各種不同的接口調(diào)取這種學(xué)習(xí)能力,從而讓新開(kāi)發(fā)的項(xiàng)目迅速通過(guò)數(shù)據(jù)的積累訓(xùn)練系統(tǒng),學(xué)會(huì)如何人工思考和應(yīng)對(duì)。這樣的好處就是整個(gè)項(xiàng)目不用再對(duì)深度學(xué)習(xí)進(jìn)行算法和布局,更不用從理論基礎(chǔ)去做相應(yīng)的研發(fā),可以大大降低人工智能項(xiàng)目研發(fā)的難度。

其次,這些深度學(xué)習(xí)框架還提供了調(diào)取相應(yīng)深度學(xué)習(xí)結(jié)果和培訓(xùn)系統(tǒng)能力的程序語(yǔ)言,并封裝了很多常用的模塊,后續(xù)開(kāi)發(fā)者只需調(diào)用這些模塊就可以實(shí)現(xiàn)一些系統(tǒng)常用的功能,比如說(shuō)對(duì)于圖片和音頻的識(shí)別等。

此外,這些深度學(xué)習(xí)框架還提供額外的擴(kuò)展與延伸,可以跟其他的一些系統(tǒng)相銜接,把人工智能的相應(yīng)能力接觸到更大的系統(tǒng)中去。

從2017年之后,國(guó)內(nèi)大大小小的人工智能應(yīng)用,絕大多數(shù)都是基于這兩個(gè)框架平臺(tái)所提供的各種服務(wù)和封裝模塊進(jìn)行,雖然大大降低了開(kāi)發(fā)人員的難度,但很大程度上也將技術(shù)核心的支持能力拱手相讓。

正是看到這一點(diǎn),2016年百度提出來(lái)中國(guó)人自己的深度學(xué)習(xí)框架PaddlePaddle。但說(shuō)實(shí)話彼時(shí)百度的這一框架并沒(méi)有顯露出太多技術(shù)優(yōu)勢(shì),在國(guó)內(nèi)被使用的頻次也不算太高。

即便如此,對(duì)于百度一把手李彥宏而言,AI是百度未來(lái)發(fā)展的突破口,所以深度學(xué)習(xí)框架這塊也必須得到百度整個(gè)技術(shù)部門的大力扶持。

2018 年 7 月,李彥宏在百度 AI 開(kāi)發(fā)者大會(huì)上喊出了要讓“Everyone Can AI”的口號(hào),其實(shí)這句口號(hào)后面還要加上一個(gè)限定——“通過(guò)百度的 AI 平臺(tái)”。PaddlePaddle 就是這一口號(hào)付諸實(shí)踐的突破點(diǎn)之一。

2019 年 4 月,時(shí)任百度高級(jí)副總裁(現(xiàn)百度 CTO)王海峰在 Wave Summit 深度學(xué)習(xí)開(kāi)發(fā)者峰會(huì)上,為深度學(xué)習(xí)框架 PaddlePaddle 在百度內(nèi)部的戰(zhàn)略地位進(jìn)行了定調(diào)。PaddlePaddle 發(fā)布中文名“飛槳”,開(kāi)始強(qiáng)調(diào)自己更懂中國(guó)開(kāi)發(fā)者,以及更加專注于深度學(xué)習(xí)模型的工業(yè)生產(chǎn)和部署。

02丨飛槳的特色

實(shí)際上,飛槳以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ),集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、豐富的工具組件于一體,是中國(guó)首個(gè)自主研發(fā)、功能完備、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)。

關(guān)鍵從2015年之后,百度將自己業(yè)務(wù)突破的能力定立到了人工智能上,而幾乎百度現(xiàn)在所有的人工智能項(xiàng)目全都是基于飛槳的整個(gè)體系研發(fā),并最終投入使用和做后期維護(hù)的。

某種意義上正是基于百度本身體量的大范圍應(yīng)用,才迅速縮短了飛槳的成熟時(shí)間。

百度“飛槳”是怎么成為世界第三的?

作為我國(guó)首個(gè)開(kāi)源開(kāi)放、功能完備的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái),飛槳想要保持自己的地位,也必須要有自己獨(dú)特的優(yōu)勢(shì)。

第一,便捷的開(kāi)發(fā)框架。飛槳同時(shí)支持動(dòng)態(tài)圖和靜態(tài)圖的編程,能夠兼顧易用性和效率。在整個(gè)開(kāi)發(fā)過(guò)程當(dāng)中,算法工程師既需要方便的接口,同時(shí)也需要高效的底層平臺(tái)的支持。飛槳平臺(tái)結(jié)合了動(dòng)態(tài)圖的易用性和靜態(tài)圖的高性能,使開(kāi)發(fā)者可以兼顧兩者的優(yōu)勢(shì)。對(duì)開(kāi)發(fā)者來(lái)說(shuō),這是大大降低了寫(xiě)程序的成本和復(fù)雜度。

第二,超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)。針對(duì)大規(guī)模的工業(yè)化場(chǎng)景,飛槳提供大規(guī)模分布式訓(xùn)練能力,在真正的工業(yè)場(chǎng)景應(yīng)對(duì)自如。飛槳平臺(tái)推出了支持萬(wàn)億規(guī)模參數(shù)模型的實(shí)時(shí)更新能力和訓(xùn)練能力。面對(duì)大型分類任務(wù)時(shí)可以進(jìn)行模型并行訓(xùn)練,在訓(xùn)練層面也可以支持?jǐn)?shù)據(jù)并行訓(xùn)練。

第三,多端多平臺(tái)部署的高性能推理引擎。端到端的部署是應(yīng)用深度學(xué)習(xí)的一個(gè)非常關(guān)鍵的環(huán)節(jié),飛槳提供非常完備的支持各種硬件的端到端的部署能力,能夠使得開(kāi)發(fā)者推理、預(yù)測(cè)的過(guò)程足夠順暢。在移動(dòng)端部署的模型體積上,飛槳可以縮減到非常小,眾多開(kāi)發(fā)者可以更好地把模型用在相應(yīng)場(chǎng)景的終端設(shè)備上。

第四,產(chǎn)業(yè)級(jí)開(kāi)源模型庫(kù)。飛槳有大量在產(chǎn)業(yè)實(shí)踐當(dāng)中沉淀出來(lái)的模型,并提供官方的支持,能夠保證開(kāi)發(fā)者的應(yīng)用效果是最佳的、真正可靠的。據(jù)悉,飛槳平臺(tái)上目前開(kāi)源了140+的模型,而且還有工業(yè)級(jí)的預(yù)訓(xùn)練模型。在預(yù)訓(xùn)練模型基礎(chǔ)上,開(kāi)發(fā)者在使用時(shí)只要針對(duì)自己的場(chǎng)景進(jìn)行小數(shù)據(jù)量的遷移學(xué)習(xí)就可以使用。

而且飛槳已可適配 22 種芯片型號(hào),覆蓋英特爾、英偉達(dá)、瑞芯微、寒武紀(jì)等15家硬件廠商,且對(duì)國(guó)產(chǎn)硬件的支持力度業(yè)界第一。

03丨需求決定一切

以上這些特性,實(shí)際上只是跟海外的開(kāi)源平臺(tái)打成個(gè)平手。真正能讓飛槳成為殺手級(jí)人工智能深度學(xué)習(xí)拓展平臺(tái)的原因,是其跟中國(guó)市場(chǎng)的深度捆綁。

由于百度所有的技術(shù)扎根于中國(guó)市場(chǎng)本土需求,相應(yīng)的算法標(biāo)準(zhǔn),基礎(chǔ)能力、深度學(xué)習(xí)的習(xí)慣等等,都跟中國(guó)市場(chǎng)和相應(yīng)數(shù)據(jù)采集的情況相吻合。

如果采用國(guó)際上知名的其他開(kāi)源平臺(tái)來(lái)研發(fā)項(xiàng)目,在最終項(xiàng)目調(diào)整的過(guò)程中,還要付出很大的精力,要將很多不符合國(guó)內(nèi)環(huán)境的算法和思路進(jìn)行調(diào)整,這對(duì)于人工智能的策劃師和算法分析師來(lái)說(shuō)都是一個(gè)重大的挑戰(zhàn)。

但使用飛槳就不用做這些事,可以省很大的工作量。

從2019年開(kāi)始,百度AI的能力逐漸下沉,開(kāi)始跟產(chǎn)業(yè)經(jīng)濟(jì)和生產(chǎn)一線相結(jié)合,在飛槳上也越來(lái)越多有類似的人工智能項(xiàng)目運(yùn)行,比如智能質(zhì)檢,比如對(duì)于農(nóng)產(chǎn)品的智能分揀等等。

這些與產(chǎn)業(yè)相結(jié)合的人工智能應(yīng)用模型,飛槳已經(jīng)積累了超過(guò)1000個(gè)。由于這些模型最終都成功運(yùn)營(yíng),所以類似需求的開(kāi)發(fā)者只要將這些模型針對(duì)自己的一些特征進(jìn)行修改調(diào)試,就可以在短時(shí)間內(nèi)拿出一個(gè)成型的人工智能解決方案和項(xiàng)目實(shí)施計(jì)劃。

再加上百度本身所推出的人工智能應(yīng)用,就已經(jīng)覆蓋了中國(guó)互聯(lián)網(wǎng)的大多數(shù)使用空間。豐富的人工智能基礎(chǔ)模塊,可以讓程序員和工程師快速部署形成自己的人工智能軟件應(yīng)用。

這大大方便了人工智能項(xiàng)目在中國(guó)產(chǎn)業(yè)端的拓展,也成為飛槳迅速在中國(guó)人工智能研發(fā)領(lǐng)域成為主流平臺(tái)的重要原因。

截止目前在飛槳平臺(tái)上,經(jīng)常使用相應(yīng)模塊進(jìn)行人工智能開(kāi)發(fā)的程序員和工程師超過(guò)400萬(wàn)。

這已經(jīng)創(chuàng)造了中國(guó)開(kāi)源軟件開(kāi)發(fā)框架或平臺(tái)的記錄。

04丨擺在前面的挑戰(zhàn)

當(dāng)然,飛槳并不是不是一個(gè)完美的框架和平臺(tái)。知乎上在飛槳專區(qū)有很多程序員吐槽,大多是有關(guān)應(yīng)用端以開(kāi)發(fā)的過(guò)程中,調(diào)取模塊遇到的各種bug問(wèn)題。

而由于整套系統(tǒng)的邏輯都是百度自己建立的,并沒(méi)有前面的經(jīng)驗(yàn)可以遵循,這也讓很多新的模塊出來(lái),需要帶有一段時(shí)間的糾錯(cuò)期。這對(duì)爭(zhēng)分奪秒的人工智能開(kāi)發(fā)領(lǐng)域來(lái)說(shuō),是一種時(shí)間上的浪費(fèi)。

因此有程序員提出,能不能作為開(kāi)源程序員加入其中,為飛槳目前的不斷完善,提供自己的思路和幫助。

另外,由于百度發(fā)展的局限性,使得飛槳在海外的應(yīng)用受限。如何將飛槳推到國(guó)際市場(chǎng),恐怕是百度在2022年一定要認(rèn)真考慮的重要問(wèn)題。

百度“飛槳”是怎么成為世界第三的?

畢竟,百度是將AI作為未來(lái)發(fā)展的基石,而飛槳被看作是百度AI的核心,那么李彥宏對(duì)于百度轉(zhuǎn)型的定位,在國(guó)內(nèi)和國(guó)際都需要飛槳為支撐的AI故事。

百度也已經(jīng)認(rèn)識(shí)到這一點(diǎn),2021年開(kāi)始舉辦人工智能規(guī)劃師的培訓(xùn),并開(kāi)始逐漸國(guó)際化發(fā)展,目的很明確。

但一切還需要時(shí)間,而現(xiàn)在已經(jīng)到了百米賽跑的關(guān)鍵沖刺期。

雖然百度有底氣,但時(shí)間上得要抓緊了。

       原文標(biāo)題 : 百度“飛槳”是怎么成為世界第三的?

聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)