專注于計(jì)算機(jī)視覺(jué)與機(jī)器學(xué)習(xí)知識(shí)分享

編者薦語(yǔ)

機(jī)器視覺(jué)項(xiàng)目中,如何采集到合適的圖像是項(xiàng)目的第一步,也是最重要的一步。所以采用工業(yè)相機(jī)成像以及如何轉(zhuǎn)換成圖像處理庫(kù)所需要的格式成為項(xiàng)目開(kāi)發(fā)中首先要考慮的問(wèn)題。

研究生期間導(dǎo)師主要是做大數(shù)據(jù)的,自己也只能跟著導(dǎo)師做一些數(shù)據(jù)分析與預(yù)測(cè)(決策)之類(lèi)的研究。但是后來(lái)發(fā)現(xiàn)自己還是更加喜歡圖像處理與計(jì)算機(jī)視覺(jué)。由于在校期間導(dǎo)師項(xiàng)目的進(jìn)度與來(lái)自畢業(yè)的壓力,并沒(méi)有足夠的時(shí)間去做一些圖像方面工程化的項(xiàng)目。不過(guò)有趣的是,畢業(yè)后陰差陽(yáng)錯(cuò)的入職了一家做機(jī)器視覺(jué)的公司。回想起自己從畢業(yè)時(shí)的懵懵懂懂到現(xiàn)在的略知一二,中間學(xué)到了很多,也踩了很多坑。所以想從今天開(kāi)始分享一些自己入行機(jī)器視覺(jué)領(lǐng)域的一些零散小知識(shí)。許多內(nèi)容來(lái)源于網(wǎng)上,雖然加入了很多自己的理解。但由于其本身的筆記屬性,可能除了大致的邏輯,或多或少的會(huì)引入一些小錯(cuò)誤,大家如果發(fā)現(xiàn)可以及時(shí)指出,以免由于作者的水平有限而誤導(dǎo)他人。

那么今天分享的內(nèi)容就從這里開(kāi)始吧!

實(shí)際的項(xiàng)目中,一般需要我們自己控制相機(jī)去進(jìn)行圖像的采集,通常情況下,當(dāng)我們抓取幀的時(shí)候是從一個(gè)連續(xù)的視頻流序列中去抓取一個(gè)或者多個(gè)視頻幀。那我們就先來(lái)介紹一下圖像采集中同步(synchronous)與異步(asynchronous)之間的區(qū)別。

圖像采集名詞解釋

1．Capture(捕獲):表示光線經(jīng)過(guò)鏡頭在傳感器芯片(CMOS,CCD)上成像。

2．Acquisition(采集):表示由相機(jī)的控制器間隔一段時(shí)間就將芯片上的數(shù)據(jù)傳輸?shù)较鄼C(jī)buffer中。

3．Grab(抓取):從相機(jī)的緩存Buffer中把數(shù)據(jù)取出來(lái)傳到板卡。

4．Digitize(數(shù)字化):把從相機(jī)buffer中拿到的模擬信號(hào)量化為數(shù)字信號(hào)。

我們常說(shuō)的“采集”一般是指這四個(gè)過(guò)程的總稱。

同步采集

簡(jiǎn)單的說(shuō),同步采集的過(guò)程中,圖像的抓取(grab)和圖像的處理(process)是順序進(jìn)行的,當(dāng)抓取完成后,就開(kāi)始生成HImage和接下來(lái)的圖像處理,然后在處理結(jié)束后,繼續(xù)等待下一個(gè)采集信號(hào)的到來(lái),開(kāi)始下一幀的抓取,順序見(jiàn)下圖:

上圖中,采集信號(hào)是按相機(jī)設(shè)定的幀率的頻率發(fā)送。同步采集可能會(huì)導(dǎo)致的問(wèn)題是,如果圖像處理結(jié)束后,錯(cuò)過(guò)了下一幀的信號(hào),那就只好等待再下一幀的信號(hào)來(lái)了繼續(xù)采集。從圖中這種情況看,中間一幀的圖像會(huì)“丟失”,這樣的話實(shí)際的幀率可能就達(dá)不到相機(jī)設(shè)定的理論的幀率了。

異步采集

而異步操作中,抓取與處理兩個(gè)步驟是可以分離的,并可以異步運(yùn)行,即可以在抓取下一幀圖像的同時(shí)對(duì)圖像進(jìn)行處理．異步采集的第一步調(diào)用與同步采集類(lèi)似,差別在接收到圖像之后,采集句柄去采集下一幀圖像,而處理算子在處理好前一幀圖像后繼續(xù)處理下一幀。處理完成后,再調(diào)用異步采集,直到完成圖像采集為止,這樣就可以達(dá)到全幀的速率。

使用異步采集的時(shí)候,存儲(chǔ)抓取圖像與處理圖像的應(yīng)該是兩塊不同的存儲(chǔ)區(qū)域,因此需要使用雙緩存策略。

二者比較

同步采集:采集完后,處理圖像,然后繼續(xù)采集。采集的實(shí)際幀率受處理速度的影響。

異步采集:采集完后,立刻采集下一幀圖像,同時(shí)進(jìn)行當(dāng)前幀的圖像處理。實(shí)際幀率不受處理速度影響。

總結(jié)

使用同步采集的時(shí)候,抓取的都是當(dāng)前的圖像,而異步采集的時(shí)候,讀到的圖可能是已經(jīng)當(dāng)前時(shí)間的前幾幀圖像。如果是拍攝運(yùn)動(dòng)物體,可能發(fā)生物體已經(jīng)移動(dòng)了,圖像卻還是移動(dòng)之前的情況。為了避免這個(gè)問(wèn)題可以考慮同步,或者也可以考慮采用多線程機(jī)制保證采集和處理的同步。

部分內(nèi)容來(lái)源于網(wǎng)絡(luò),如果侵權(quán)請(qǐng)聯(lián)系刪除。