此監(jiān)控采用三維成像技術(shù)和語聲混合算法,將周圍物體的三維建模和尺度測量用3D技術(shù)來實(shí)現(xiàn)。
方案介紹
目前,國內(nèi)外尚未將三維成像技術(shù)成熟應(yīng)用到監(jiān)控產(chǎn)品上面,功能比較接近的產(chǎn)品是車輛智能全景監(jiān)控系統(tǒng)。但它只能記錄平面信息,不能全面地反映周圍環(huán)境的具體情況。
今天為大家介紹的360度全景智能監(jiān)控方案,正是在車輛智能全景監(jiān)控系統(tǒng)發(fā)展而來的,是對車輛智能全景監(jiān)控系統(tǒng)的改進(jìn)。通過采用三維成像技術(shù)和語聲混合算法,本系統(tǒng)一方面將周圍物體的三維建模和尺度測量用3D技術(shù)來實(shí)現(xiàn)。另一方面,還將全部觀測點(diǎn)的聲音信息全部記錄下來,使得記錄的資料更加生動、形象和全面。
三維智能全景監(jiān)控系統(tǒng)主要分為如下幾部分:中央處理單元、顯示與人機(jī)界面、專用攝像頭(分布式安裝)。
本系統(tǒng)的主體為中央處理單元,該部分主要包括:
?。?)視頻采集部件,采集系統(tǒng)所需視頻,并將采集到的視頻傳送到視頻合成部件。
?。?)視頻防抖部件,最大程度地預(yù)防在視頻采集過程中的抖動,同時(shí)進(jìn)行相應(yīng)的視頻補(bǔ)償操作。
?。?)視頻合成部件,將采集到到視頻內(nèi)容進(jìn)行無縫合成,形成全景視頻,并輸送到投影與映射單元。
(4)投影與映射部件,將合成的視頻內(nèi)容進(jìn)行投影與映射,輸出到相應(yīng)的終端。
(5)目標(biāo)檢測部件,對周邊的目標(biāo)物體進(jìn)行智能檢測,按照預(yù)先設(shè)定的規(guī)則進(jìn)行智能控制操作、綜合障礙預(yù)警和多元導(dǎo)航信息等。
?。?)GIS部件,對移動主體進(jìn)行GIS定位功能。
選用的系統(tǒng)方案主要包括:
1.DSP核心處理器單元
2.FPGA協(xié)同處理器單元
3.圖像采集單元(相機(jī))
4.視頻解碼芯片
5.視頻編碼芯片
6.CAN模塊
應(yīng)用范圍
1、中高檔汽車。
2、工程機(jī)械。
3、港口船閘
4、水庫大壩
5、金融場所
特色
TMS320C6000系列DSP選型及分析:
TMS320C6000系列DSP(Digital Signal Processor)n胡n¨是TI(TEXAS INSTRUMENTS)公司于1997年2月推向市場的高性能DSP,是目前在市場運(yùn)用最廣泛也是最成功的一款數(shù)字信號處理芯片之一,C6000系列DSP具有高性價(jià)比、功耗低等優(yōu)點(diǎn)。
TMS320C6000系列包含兩種類型的芯片分別為定點(diǎn)DSP和浮點(diǎn)DSP。TMS320DM642芯片是TI在2003年推出的一款32位定點(diǎn)數(shù)字信號處理器,是采用先進(jìn)Veloci技術(shù)的VLIW構(gòu)架,屬于C6000系列DSP主要面向數(shù)字圖像處理。
TMS320DM642處理器是在TMS320C6000平臺上的高性能定點(diǎn)DSP。DM642是基于第二代高性能、先進(jìn)Veloci TI技術(shù)的VLIW結(jié)構(gòu),這些特性使得此款DSP處理器被選為面向視頻圖像處理的最佳選擇。DM642在理想狀態(tài)下主頻能達(dá)到720MHz,在此主頻下處理速度能最高達(dá)到5760MIPS,C64x系列DSP內(nèi)核有64個(gè)通用寄存器和8個(gè)獨(dú)立的功能單元分別為2個(gè)乘法器和6個(gè)ALU。Veloci T11.2升級版,可以發(fā)揮功能單元的優(yōu)勢提升在實(shí)時(shí)圖像處理方面的性能。DM642每個(gè)機(jī)器周期最多能提供4個(gè)16位多路累加運(yùn)算(Multi—Accumulates.MAC),每秒可提供2880百萬個(gè)MAC,或者8個(gè)8位MAC,每秒5760MMAC。DM642具有與其他類型DSP不同的硬件結(jié)構(gòu),與其他C6000系列DSP平臺有相似的片上外設(shè)u 2|
FPGA的選型及分析:
Xilinx公司主要生產(chǎn)的FPGA有兩大類型:一種是Spartan系列,另一種是Virtex系列,Spartan系列芯片主要針對中低端的消費(fèi)電子應(yīng)用領(lǐng)域,Virtex系列芯片主要應(yīng)用于通信和網(wǎng)絡(luò)終端等高端設(shè)備領(lǐng)域。
本方案選用的是擁有40萬系統(tǒng)門數(shù)的Spartan一3AN系列XC3S400AN型號的芯片,所以著重介紹此款芯片的資源外設(shè)等相關(guān)信息n6|。
Spartan一3AN系列芯片為系統(tǒng)集成度非常高的非易失性FPGA,此款芯片有以下幾項(xiàng)獨(dú)特性能:FPGA有大量內(nèi)部SRAM高性能資源、非易失性、縮小板卡空間和配置便捷等特點(diǎn)。
圖像傳感器的選型及分析
本方案的圖像采集模塊核心器件采用CMOS圖像傳感器,基于多圖像傳感器融合的全景泊車系統(tǒng)的構(gòu)建需要4片圖像傳感器,由于本系統(tǒng)是主動安全駕駛輔助系統(tǒng),對圖像傳感器的要求并不是太高,只要圖像清晰、芯片適用于車載即可。
MT9V024圖像傳感器:MT9V024是像平面尺寸為1/3英寸、寬VGA模式的CMOS有源像素圖像傳感器,它采用TrueSNAP球形快門和高動態(tài)范圍。該傳感器專門為內(nèi)外兼顧的汽車成像需求而設(shè)計(jì),這使得它成為多種成像應(yīng)用環(huán)境的理想芯片。
0V7960圖像傳感器:0V7960是OMNIVISION最近兩年新推出的小尺寸圖像傳感器芯片,它的出現(xiàn)滿足了汽車業(yè)對輔助駕駛系統(tǒng)應(yīng)用要求(如倒車后視鏡),開創(chuàng)了CMOS圖像傳感器在汽車安全輔助駕駛系統(tǒng)應(yīng)用的新開端0V7960圖像傳感器的性能完全滿足了汽車電子行業(yè)對圖像傳感器成像效果的特殊需求,1/4超小巧體積,在低光照下的也有良好的性能(<0.01LUX),并采用全球最小的CSP封裝,體積比同類產(chǎn)品小50%,已經(jīng)成為CMOS產(chǎn)品的領(lǐng)導(dǎo)者。
經(jīng)過綜合考慮本設(shè)計(jì)才用0V7960圖像傳感器作為相機(jī)的圖像采集芯片。
功能
采用DSP作為本系統(tǒng)圖像處理的核心處理器,F(xiàn)PGA作為協(xié)同處理器,充分發(fā)揮了兩種不同處理器的各自優(yōu)勢。
FPGA主要負(fù)責(zé)整個(gè)系統(tǒng)的邏輯控制和視頻圖像的預(yù)處理,包括編/解碼芯片的驅(qū)動、外部存儲器的擴(kuò)展和簡單的圖像預(yù)處理等,并預(yù)留有足夠的邏輯資源空間以便以后復(fù)雜算法植入和功能擴(kuò)展的需要。
DSP主要負(fù)責(zé)4路廣角相機(jī)視頻圖像的采集、1路視頻圖像輸出以及復(fù)雜圖像處理算法的實(shí)現(xiàn)和接收CAN模塊的信息。
系統(tǒng)方塊圖
核心器件
成功案例
針對本系統(tǒng)在車輛的三維全景監(jiān)控系統(tǒng)上進(jìn)行了實(shí)踐和應(yīng)用。通過本系統(tǒng)進(jìn)行視頻合成虛擬出來的監(jiān)控范圍內(nèi)有效區(qū)域的全景視圖效果,并利用三維圖像的形式進(jìn)行顯示,提供更加真實(shí)的虛擬現(xiàn)場。同時(shí),本系統(tǒng)還可以實(shí)現(xiàn)關(guān)鍵部位的自動尺度測量,在必要的時(shí)候,主動進(jìn)行報(bào)警。其效果演示圖如下: