攝像頭(Camera)無疑是ADAS以及自動駕駛行業(yè)不可或缺的傳感器。但是現(xiàn)階段的攝像頭技術(shù)還無法很好地應(yīng)對強(qiáng)光及黑暗環(huán)境,很容易陷入間歇性“失明”。
近日,由新加坡南洋理工大學(xué)(NTU)的科研人員研發(fā)的一款超快速(Ultrafast)攝像頭悄然走紅,它可以讓自動駕駛車輛(或無人機(jī))在極端道路狀況及天氣條件下更好地“看見”。
不同于典型的光學(xué)攝像頭——在強(qiáng)光及黑暗條件下,無法看清任何物體。南洋理工大學(xué)的新型智能攝像頭可以實(shí)時記錄下微小的物體,即使在運(yùn)動狀態(tài)下。
這款新型的攝像頭可以記錄下納米間隔的光照強(qiáng)度變化,比傳統(tǒng)的視頻要快得多。而且,其存儲的圖片格式所占的空間也要比傳統(tǒng)的小好幾倍。
憑借著特殊的內(nèi)置電路,這款攝像頭可以做到即時的場景分析,并且標(biāo)出重要物體以及細(xì)節(jié)部分。
背景
據(jù)了解,該款攝像頭由南洋理工大學(xué)電子工程學(xué)院的Chen shou shun助理教授帶頭研發(fā),命名為CeleX,目前原型機(jī)已經(jīng)定版。
Chen助教表示,“新型攝像頭對于自動駕駛汽車來說是不錯的安全工具,因?yàn)樗芟駛鹘y(tǒng)光學(xué)相機(jī)一樣看得很遠(yuǎn),而且在分析視頻的過程中沒有延遲。”
“不間斷記錄以及場景即時分析的特點(diǎn),也讓其彌補(bǔ)了現(xiàn)存的光學(xué)和激光攝像頭的缺陷,能夠有助于自動駕駛汽車(或無人機(jī))避開可能在幾秒鐘時間內(nèi)出現(xiàn)的撞擊。”
CeleX的原型機(jī)已經(jīng)于上個月在美國舉辦的IS&T 2017電子成像國際研討會上進(jìn)行了展示,還收到了很多參會者的積極反饋,多數(shù)是業(yè)界專家和行業(yè)從業(yè)者。
工作原理
如各位所知,光學(xué)攝像頭傳感器上擁有數(shù)百萬個像素點(diǎn),能記錄下光照信息,可用于構(gòu)建一幅完整的圖像。
高速視頻攝像頭每秒可以記錄下高達(dá)120幀圖像,產(chǎn)生千兆字節(jié)的視頻數(shù)據(jù)。然后,處理器會分析這些視頻,讓自動駕駛汽車“看見”并且分析其所處的環(huán)境。
(CeleX傳感器:傳感器上的每個像素都可以監(jiān)視到光照強(qiáng)度的變化同時發(fā)送報告,時間以納秒計算;同時該傳感器對于高速運(yùn)動的物體的捕捉效果很棒,相比于傳統(tǒng)的高速攝像頭,其存儲的數(shù)據(jù)量要少1000倍。)
?。–eleX芯片集:該芯片集是執(zhí)行視頻分析任務(wù)的硬件系統(tǒng),可以感知到來自傳感器的像素流以及傳送加載了有價值信息的信號。最后的形態(tài)是軟硬件相結(jié)合的合作平臺,可以進(jìn)行高速視頻分析的任務(wù)。)
當(dāng)環(huán)境更復(fù)雜時,視頻數(shù)據(jù)的收集和處理就更加緩慢,這就導(dǎo)致自動駕駛汽車“正在看見”的環(huán)境以及其需要作出的反應(yīng)動作之間出現(xiàn)了時間延遲。無疑,這將是致命的。
為了能夠做到即時處理這些視覺數(shù)據(jù),CeleX攝像頭在其傳感器上記錄下光照強(qiáng)度的變化以及每一個獨(dú)立的像素點(diǎn),這就減少了數(shù)據(jù)的輸出。避免對整個畫面進(jìn)行處理,也提升了圖像處理的速度。
該款攝像頭的傳感器中也內(nèi)置了處理器用于實(shí)時分析數(shù)據(jù)流,可區(qū)分前后景的物體,同時也擅長光流計算。這款創(chuàng)新攝像頭給了自動駕駛汽車更多時間來對即將到來的車輛及障礙物作出反應(yīng)。
據(jù)悉,Chen助教針對傳感器的研究從2009年便開始了,期間還拿到了教育部的Tier 1科研補(bǔ)助金以及新加坡-麻省理工學(xué)院科研合作基金總共50萬美元用于研究。這項技術(shù)相關(guān)的論文也在IEEE的兩本專業(yè)雜志上進(jìn)行了發(fā)表。
商業(yè)化
當(dāng)然,一項創(chuàng)新技術(shù)要走入人們的生活,必然逃不出商業(yè)化的命題。
為了吸引工業(yè)界的興趣,Chen助教和他的研究員們成立了一家名為Hillhouse Tech的初創(chuàng)公司,目的就是為了將這款新的攝像頭盡早進(jìn)行商業(yè)化。Chen助教的設(shè)想是今年年底做好商業(yè)化準(zhǔn)備,因?yàn)檫@家公司已經(jīng)在和全球范圍內(nèi)的電子廠商進(jìn)行洽談。
這款攝像頭以及其傳感器技術(shù)如果能夠真正商業(yè)化,無疑是ADAS以及自動駕駛領(lǐng)域的重大利好。諸多ADAS廠商目前都在致力于解決攝像頭的夜視問題,而CeleX所做的工作正好是這些廠商所需要的;而對于自動駕駛行業(yè),攝像頭的地位也無可動搖,特別是像特斯拉這樣的企業(yè)如今在自動駕駛方面越來越重視攝像頭的使用。
不過,如業(yè)內(nèi)人士所評,作為科研院校出身的創(chuàng)新技術(shù),其商業(yè)化進(jìn)程應(yīng)該還沒有那么迅速。