深蘭科技|計算機視覺+藝術處理,現(xiàn)實場景秒變動漫大片
近日
在深蘭科技的官方抖音上
發(fā)布了這樣一個視頻
這是利用人工智能技術,將電影《魔獸》中的片段轉(zhuǎn)成了動漫的畫面。本就科幻的劇情,在動漫場景下,不禁讓人重回游戲,再次走入兩個世界的種族為了各自的生存和家園奮起而戰(zhàn)的故事……
深蘭科學院的算法專家借助計算機視覺技術,基于機器學習和生成對抗網(wǎng)絡(GAN),對圖像進行了風格遷移處理,可將真實世界的圖像直接轉(zhuǎn)換為高品質(zhì)動漫風格。由此,畫師便可將節(jié)省下來的大量時間,用于更多富有創(chuàng)造性的工作,從而產(chǎn)生更大的價值。而經(jīng)典老電影,也可以利用去燥、上色、轉(zhuǎn)動畫等一系列人工智能方法進行處理,來一次二次元的穿越,滿足人們越來越多元化的視覺需求。
真實場景轉(zhuǎn)動畫
1.技術背景
漫畫是在日常生活中我們能夠廣泛接觸到的一種藝術形式。除了藝術本身之外,它的適用范圍從出版媒體到兒童教育,和其他藝術形式一樣,很多著名的漫畫形象都是基于現(xiàn)實世界的場景創(chuàng)作的。圖1-1展示了真實照片轉(zhuǎn)換成漫畫的效果。
圖1-1人物變卡通
為什么要把真實場景轉(zhuǎn)換成卡通呢?在現(xiàn)實工作中,使用卡通風格手繪重現(xiàn)現(xiàn)實世界的場景是一個費時費力的工作,而且需要很多專業(yè)的繪畫技能。為了獲得高質(zhì)量的畫面,原畫作者必須仔細繪制每個線條,并對目標場景的每種顏色區(qū)域進行涂色。
目前看來,具有標準特征的現(xiàn)有藝術編輯軟件和算法無法產(chǎn)生令人滿意的漫畫效果。因此,如果有專業(yè)技術能夠自動將真實世界的照片轉(zhuǎn)換為高品質(zhì)的動漫風格畫面,對于畫師來說是非常有幫助的一件事:這可以為他們節(jié)省大量時間,讓他們專注于更有意義和創(chuàng)造性的工作。
以藝術方式對圖片進行處理的研究一直是計算機視覺的熱門方向。此前的傳統(tǒng)方式通常針對特定樣式開發(fā)特定的算法。然而,這意味著需要做出大量技術上的努力才能做出模仿個人藝術家的細致風格。而基于機器學習的風格遷移方法,可以通過示例圖片對圖像進行風格化,已經(jīng)引起了很多人的關注。特別是生成對抗網(wǎng)絡(GAN)引入了循環(huán)方式訓練,進一步探索并提高了風格遷移的質(zhì)量,GAN的獨特之處在于可以使用不成對照片和風格化圖像進行訓練。
盡管基于學習的風格遷移已經(jīng)有了很多成果,但最好的風格遷移方法仍無法生產(chǎn)具有可接受質(zhì)量的漫畫風格圖像。
究其原因:
首先,漫畫風不是添加紋理和邊界線,而是需要從現(xiàn)實世界圖像的復雜構造中高度簡化;
其次,盡管藝術家之間風格各異,但卡通圖像具有一些明顯共通之處:邊緣清晰、顏色遮罩平滑、質(zhì)地相對簡單——這與其他形式的藝術作品截然不同。
這次我們要介紹的技術是清華大學提出CartoonGAN,一個基于GAN的全新照片漫畫化方法。該方法需要一組照片和一組漫畫圖像進行訓練。為了讓訓練數(shù)據(jù)易于獲得,同時獲得高質(zhì)量的結(jié)果,我們不需要讓兩組圖像互相配對或?qū)。從計算機視覺算法的角度來看,漫畫風格化的目標是將照片流型映射到漫畫流型中,同時確保其中的內(nèi)容不變。
2.技術細節(jié)
2.1 網(wǎng)絡結(jié)構
CartoonGAN作者提出了一個專用的GAN網(wǎng)絡架構,包括生成網(wǎng)絡G和判別網(wǎng)絡D,都比較直觀基礎,如圖2-1所示:
圖2-1CartoonGAN的生成器(上)/判別器(下)的網(wǎng)絡結(jié)構
生成器網(wǎng)絡
生成器網(wǎng)絡G用于將輸入圖像映射到漫畫流型中。在模型經(jīng)過訓練后,漫畫風格化任務就可以執(zhí)行了。如圖2-1所示,G從平卷積階段開始,隨后是兩個下采樣卷積模塊,以對圖像進行空間壓縮和編碼。隨后使用相同布局的八個殘差區(qū)塊來構建內(nèi)容和流形特征。最后,通過兩個上卷積模塊重構輸出的漫畫風格圖像。
判別器網(wǎng)絡
為了與生成器網(wǎng)絡形成互補,判別器網(wǎng)絡D用于判斷輸入圖像是否是「真實的」漫畫圖。由于判斷圖像是否為漫畫是個要求不高的任務,因此使用D中參數(shù)較少的簡單判別器。與圖像分類任務不同,漫畫風格鑒別任務依賴于圖像的局部特征,所以判別器網(wǎng)絡D被設計得較淺。如圖2-1所示,在平層之后,網(wǎng)絡采用兩個步長的卷積塊來降低分辨率并編碼用于分類的基本局部特征。隨后,使用特征構造塊和3×3卷積層來獲得分類返回。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 4 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?