訂閱
糾錯
加入自媒體

香港大學等機構提出學習點云內(nèi)蘊結構表示的非監(jiān)督學習新方法

三維形狀的結構分析一直是計算機圖像學和幾何處理中的基礎性關鍵問題,人們在形狀分割、形狀抽象和關鍵點提取和檢測等方面進行了大量的研究。這些形狀分析任務需要有效學習不同形狀間的語義一致性特征或和一致性的結構表示,從而提升幾何與形狀分析任務的性能。

為了有效表示點云的結構信息,保證結構間逐點的語義對應關系,得到有效的形狀結構表達,來自香港大學、馬普研究所、Adobe和山東大學的研究人員們提出了一種以3D結構點形式來表示形狀結構的新方法。這種無監(jiān)督的學習方法不僅簡單還具有可解釋性,對于多種點云采樣和真實掃描數(shù)據(jù)都十分魯棒,在點云語義形狀對應和語義分割標簽遷移任務上都取得了優(yōu)異的結果。此外在一致性結構點上基于PCA構建的形狀嵌入對于形狀重建和補全等三維任務都具有廣泛的潛在應用。

三維形狀結構分析

三維結構分析指三維形狀理解的關鍵所在,近年來研究人員針對三維形狀提出了中軸、曲率骨架和關鍵點等一系列結構表示方法,但先前基于手工特征的工作只能針對特定任務進行參數(shù)調(diào)優(yōu),缺乏泛化性和適應性。而近年來深度學習的出現(xiàn)為三維形狀表示學習提供了新的思路和有力手段,這篇文章將基于深度學習構建一種新的結構表示學習方法,用于建立三維點云間的語義對應關系。

在PointNet之后,三維點云領域涌現(xiàn)出了一系列開創(chuàng)性的工作,但絕大多數(shù)工作集中于點云的分類、分割和三維形狀的重建。重建的點云往往缺乏結構性的信息,雖然有工作提出了生成結構性點云的方法,但卻沒有保證逐點的對應關系。

為了研究這些問題,研究人員提出新型的無監(jiān)督方法來學習同一類三維形狀中語義一致性的結構點,在給定點云的情況下本文的方法能夠生成具有形狀代表性的、很好地抽象和近似輸入點云的結構點序列。雖然這種方法結構簡單但是具有很強的可解釋性,針對不同的點云采樣和真實的點云都具有很強的魯棒性。

實驗表明,這種方法在語義形狀對應和分割標簽遷移任務上都具有良好的表現(xiàn),利用高度一致性的結構點與PCA方法結合還構建起了可以較完整地保存形狀結構信息的嵌入空間,將為形狀重建等三維任務提供強有力的支撐。

結構點生成新方法

本文所聚焦的問題是從點云中學習出內(nèi)蘊的結構點表示。下圖顯示了模型的主要結構,其輸入為目標的點云集合、輸出為一系列抽取出的可以表示點云輸入的結構點。網(wǎng)絡通過非監(jiān)督的方法來對同一類的目標進行形狀分析學習,它建立在PointNet++基礎上,添加了點云整合模塊,針對每一類形狀得到的結構點具有非常好的語義連續(xù)性。

圖中顯示了模型的處理流程,在給定點云的情況下PointNet++首先用于抽取局域的上下文特征F,隨后與抽取的采樣點一起送入到共享的多層感知機中,得到針對l個點的m幅結構點概率圖,最終模型將輸入可以有效表示點云形狀的m個結構點。

在抽取局域點和特征的過程中使用的PointNet++編碼器,利用多層次的抽取層在多尺度上自適應地融合特征。每一個級別由三個關鍵的層構成,包括了采樣層、多尺度聚類層和PointNet層,它們通過層級的方式對輸入點云進行抽象和處理。

隨后l個采樣點Q和對應的局域特征F被組合送入到點集成模塊中。在給定特征和對應點輸入后,利用共享的多層感知機模塊獲取每個點是第m個結構點的概率圖,最終m個結構點可以由每個采樣點與其對應mi結構點的概率加權而成:

下圖顯示了對應不同結構點學習到概率圖,第一列的灰色表示輸入點云,及其十六個彩色表示的結構點;第二和第三列則表示了框中的結構點對應的概率圖(顏色越深的概率越大)。值得注意的是,學習到的概率圖在沒有顯式的約束下能具有顯著的聚集效應。

兩個結構點對應的概率圖(第一列方框內(nèi)),顏色越深概率越大(二三列)

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號