AI芯片評測工具，引導(dǎo)規(guī)范專用芯片市場

“為專用的芯片設(shè)立一個(gè)基準(zhǔn)測試是非常重要的工作”孫明俊在鎂客網(wǎng)的采訪中再三強(qiáng)調(diào)了測試平臺在整個(gè)AI產(chǎn)業(yè)發(fā)展中的重要性和關(guān)鍵性�！斑@是產(chǎn)業(yè)鏈中不可或缺的一個(gè)環(huán)節(jié)。特別是在產(chǎn)業(yè)發(fā)展的初期，技術(shù)路線尚未明確的情況下，一個(gè)好的基準(zhǔn)測試應(yīng)該做到的是樹立清晰的指標(biāo)技術(shù)競爭體系，這即可以幫助企業(yè)快速進(jìn)步，同時(shí)也客觀反映當(dāng)前產(chǎn)品現(xiàn)狀，一個(gè)行業(yè)如果充斥著太多魚龍混雜的產(chǎn)品，就很難走下去�！�

所以，必須有個(gè)第三方中立的機(jī)構(gòu)去防止這個(gè)領(lǐng)域出現(xiàn)劣幣驅(qū)逐良幣的現(xiàn)象。

據(jù)孫明俊介紹，AIIA DNN benchmark V0．5測試主要面向端側(cè)，旨在客觀反映具有深度神經(jīng)網(wǎng)絡(luò)加速能力的處理器在完成推斷任務(wù)時(shí)的性能。V0．5版本的評估工具基于Android／Linux系統(tǒng)，支持測評的機(jī)器學(xué)習(xí)訓(xùn)軟件框架包括TensorFlow／Caffe等，已經(jīng)完成的移動(dòng)端適配環(huán)境有HiAI ／MACE／ SNPE／TensorFlow Lite／Tengine。

在今年3月舉辦的“AI in 5G——引領(lǐng)新時(shí)代論壇”上，研究院發(fā)布了首輪的評估結(jié)果，包含四大典型場景和兩大類評測指標(biāo)。評測場景包括圖像分類、目標(biāo)檢測、超分辨率、分割網(wǎng)絡(luò)；評測指標(biāo)則包括速度（fps）和算法性能，算法性能指標(biāo)涉及如top1 、top5、mAP、mIoU、PSNR等。

談及當(dāng)前的AI基準(zhǔn)測試，除了AIIA之外，阿里、寒武紀(jì)以及百度均有動(dòng)作：阿里在去年的云棲大會上推出了AI Matrix；中科院計(jì)算所、寒武紀(jì)、科大訊飛、京東、銳迪科、AMD等六家則是攜手推出BenchIP。國外的MLPerf也于去年5月由谷歌牽頭聯(lián)合全球各大科技公司與高校開展相關(guān)基準(zhǔn)測量工具研究。

當(dāng)被問及AIIA的評測工具相較于其他基準(zhǔn)測試工具的優(yōu)勢，孫明俊強(qiáng)調(diào)，“我們沒有產(chǎn)品傾向性，是非常中立且不帶產(chǎn)品色彩的獨(dú)立第三方測試�！�

值得一提的是，孫明俊也強(qiáng)調(diào)AIIA DNN benchmark是深度學(xué)習(xí)處理器領(lǐng)域首次區(qū)分整型和浮點(diǎn)對比的Benchmark。

AI芯片評測非一日之功，開源工具鼓勵(lì)企業(yè)多參與

雖然AI芯片評測工具已經(jīng)推出，但是考慮到專用芯片的復(fù)雜性，也給評估工作帶來一些困難。

“我們面臨的一個(gè)很大的問題是適配，比如TensorFlow／Caffe適配到高通、海思都要做大量的工作，但是以前的通用CPU評測就不存在這個(gè)問題。”

孫明俊表示適配的難度之外，由于芯片上搭載的場景也非常多，所以需要測試的場景相應(yīng)也會很多。另外延遲、帶寬、能耗也都要納入考慮范圍，再加上各種神經(jīng)網(wǎng)絡(luò)模型有不同參數(shù)，不同參數(shù)下又有不同的輸出曲線，所以測試基準(zhǔn)工具也得不斷地迭代下去。

雖然有很多企業(yè)也在做AI芯片的基準(zhǔn)測試，但是整個(gè)業(yè)內(nèi)似乎還缺少統(tǒng)一的標(biāo)準(zhǔn)。對此，孫明俊解釋道，“AI基準(zhǔn)測試之所以還沒有任何一家企業(yè)被公認(rèn)為標(biāo)準(zhǔn)的行業(yè)測試體系，其原因就在于人工智能處理器的多樣化，處理器的尺寸、功能、構(gòu)架、制程不同，應(yīng)用的領(lǐng)域、范圍、特定場景不同，也就導(dǎo)致了人工智能處理器的復(fù)雜化。”

而評測體系如果想要建立好，就必須要把所有處理器可能遇到的場景和問題考慮進(jìn)去。這點(diǎn)也正是行業(yè)難點(diǎn)之所在。

所以為了吸引更多的企業(yè)參與到專用芯片測試中，目前DNN benchmark V0．5評測工具已經(jīng)在Github上開源。