“在人工智能(AI)時(shí)代，我們做的很多決策、處理，都通過(guò)機(jī)器來(lái)實(shí)現(xiàn)。這些CPU、GPU是怎么看待世界的?該如何讓它們感覺(jué)到關(guān)鍵的信息?實(shí)際上，這是圖像傳感器應(yīng)該做的事情?！痹贏SPENCORE 3月18日舉辦的2021年中國(guó)IC領(lǐng)袖峰會(huì)上，思特威(上海)電子科技股份有限公司副總經(jīng)理歐陽(yáng)堅(jiān)針對(duì)圖像傳感器在機(jī)器視覺(jué)領(lǐng)域的應(yīng)用做了精彩分享。

　　圖像傳感器在機(jī)器視覺(jué)領(lǐng)域的應(yīng)用

　　在AI+IoT時(shí)代中，越來(lái)越多的機(jī)器視覺(jué)應(yīng)用需要智能終端對(duì)信息做出精準(zhǔn)且快速的采集與處理。而圖像傳感器就像是機(jī)器的“眼睛”，賦予了機(jī)器感知時(shí)間的能力。

　　CPU和GPU的處理能力遠(yuǎn)超人腦和人眼，現(xiàn)在很多圖像的處理通過(guò)AI的CPU、GPU來(lái)實(shí)現(xiàn)，能夠精準(zhǔn)抓拍到物體在高速運(yùn)動(dòng)時(shí)不變形的圖像非常關(guān)鍵。比如，機(jī)器在運(yùn)轉(zhuǎn)過(guò)程中可達(dá)到每秒500至1000幀的幀速率，在人眼無(wú)法快速辨別每一幀圖像時(shí)，機(jī)器卻能迅速識(shí)別物體并找到物體，從而進(jìn)行快速、自動(dòng)化操作。又如，家用掃地機(jī)器人在打掃房間時(shí)能智能地避開障礙物，它利用了機(jī)器視覺(jué)技術(shù)，對(duì)房間的布局做出精準(zhǔn)判斷。

　　另外，在復(fù)雜的環(huán)境下，大家可以通過(guò)攝像頭來(lái)實(shí)現(xiàn)人臉支付。這個(gè)應(yīng)用要求保持高度的安全，需要圖像處理做得非常精細(xì)。還有，在智能車載領(lǐng)域，無(wú)論是ADAS、巡車記錄，還是高速智能交通監(jiān)管，它們都對(duì)車輛的監(jiān)控和抓拍提出了很大的訴求。

　　針對(duì)以上多種應(yīng)用，都對(duì)圖片處理技術(shù)提出了要求。歐陽(yáng)堅(jiān)表示，基于這種市場(chǎng)需求，思特威推出了Global shutter傳感器以及SmartGS?系列Global shutter圖像傳感器。

　　適用高速運(yùn)動(dòng)場(chǎng)景的Global shutter系列傳感器

　　根據(jù)歐陽(yáng)堅(jiān)的介紹，最初Global shutter傳感器的應(yīng)用場(chǎng)景并不多?！拔覀冇幸粋€(gè)簡(jiǎn)單的邏輯，就是要抓拍高速運(yùn)動(dòng)的物體。因此，當(dāng)時(shí)的應(yīng)用場(chǎng)景主要落在智能避障上。但隨著我們的合作伙伴及生態(tài)鏈的應(yīng)用案例越來(lái)越多，Global shutter系列傳感器拓展出了更多的新應(yīng)用，其中包括了智能教育應(yīng)用，類似于智能翻譯筆?！?/p>

　　當(dāng)然，現(xiàn)在Global shutter系列傳感器最大的應(yīng)用場(chǎng)景無(wú)人機(jī)。無(wú)人機(jī)在高速運(yùn)轉(zhuǎn)過(guò)程中，若操作不當(dāng)可能會(huì)撞到障礙物或者“炸機(jī)”。從去年開始，一家頭部無(wú)人機(jī)企業(yè)的全系列無(wú)人機(jī)都配備了智能避障功能，其無(wú)人機(jī)上使用的智能避障傳感器，大多數(shù)是來(lái)自思特威。

　　除了智能避障應(yīng)用以外，Global shutter傳感器還應(yīng)用在公共安全領(lǐng)域，比如作為駕駛員的智能管理系統(tǒng)DMS來(lái)應(yīng)用，監(jiān)測(cè)駕駛員是否疲勞駕駛、有無(wú)分心。歐陽(yáng)堅(jiān)還補(bǔ)充說(shuō)：“現(xiàn)在常用的無(wú)人機(jī)一般會(huì)用雙目解決方案，但是無(wú)人機(jī)運(yùn)行時(shí)會(huì)有前后左右上下八個(gè)方向，這八個(gè)方向至少需要用到八個(gè)傳感器。一臺(tái)高端無(wú)人機(jī)甚至?xí)?biāo)配12個(gè)帶智能全局曝光傳感器，因此該產(chǎn)品的應(yīng)用領(lǐng)域非常寬泛?！?/p>

　　Global shutter的全局曝光成像技術(shù)具備非常多的優(yōu)勢(shì)。歐陽(yáng)堅(jiān)稱，普通CIS在高速運(yùn)動(dòng)場(chǎng)景中，采用Rolling shutter的曝光方式，逐行進(jìn)行掃描，最后拼接一幅圖。在這個(gè)過(guò)程中存在一個(gè)時(shí)延，會(huì)出現(xiàn)果凍效應(yīng)，最終出來(lái)的成圖效果是變形的。機(jī)器視覺(jué)AI芯片無(wú)法正確識(shí)別這樣的圖片，也無(wú)法識(shí)別圖片里面的文字。

　　Global shutter全局曝光產(chǎn)品最大的特點(diǎn)是——第一，能高速抓拍運(yùn)動(dòng)的物體，無(wú)形變、無(wú)拖尾;第二，Global shutter是基于BSI(背照式)工藝?！案泄庑Ч玫闹悄苁謾C(jī)所用的圖像傳感器一般基于BSI工藝。不過(guò)，全局曝光跟BIS工藝的融合有很大的難度。截至目前為止，我們是全球率先實(shí)現(xiàn)了基于BSI工藝的全局曝光技術(shù)的公司之一，友商主要是基于FSI(前照式)工藝實(shí)現(xiàn)的?！睔W陽(yáng)堅(jiān)自豪地表示。　　         歐陽(yáng)堅(jiān)還展示了SmartGS?高速攝像頭汽車山路場(chǎng)景中的圖片。他解釋說(shuō)，在80-90米遠(yuǎn)就可清楚看到車牌細(xì)節(jié)，能幫助人臉識(shí)別抓取到所有的信息?？於茸ヅ臅r(shí)如果不采用全局曝光，最終呈現(xiàn)的效果會(huì)有打折扣。采用SmartGS?高速攝像頭拍出來(lái)的視頻，在16倍慢放時(shí)汽車的車輪都沒(méi)有形變。視頻中任何一張圖抓取出來(lái)，交給機(jī)器視覺(jué)和AI識(shí)別，都不會(huì)造成誤判。

　　值得注意的是，夜間拍照經(jīng)常會(huì)遇到明、暗兩種不同的環(huán)境，這要求拍照時(shí)做到噪聲讀取控制得足夠好且感光度足夠高。不需要的噪聲全部濾掉，還能感受到足夠多的光線，讓亮的場(chǎng)景不要過(guò)曝，暗的場(chǎng)景保持細(xì)節(jié)。

　　在交通領(lǐng)域，紅綠燈是高頻閃爍的LED燈，如果不對(duì)高頻閃爍的頻率做處理，抓拍到的信息會(huì)殘缺不全。歐陽(yáng)堅(jiān)介紹稱，思特威的產(chǎn)品可針對(duì)不同區(qū)域，做不同程度的曝光和中央處理，從而實(shí)現(xiàn)分區(qū)處理的效果。

　　SmartGS?高速攝像頭還支持多個(gè)車道抓拍，能顯著降低系統(tǒng)成本。

　　除此之外，思特威還可提供多種HDR解決方案。歐陽(yáng)堅(jiān)透露說(shuō)：“這些方案可避免紅綠燈的過(guò)曝，能幫助機(jī)器快速識(shí)別物體。這些產(chǎn)品是我們過(guò)去半年推出的一個(gè)最新的技術(shù)，未來(lái)我們還會(huì)研發(fā)新一代的產(chǎn)品，以提供更高分辨率、更高像素的解決方案。”