2021年1月11日,Ambarella(下稱”安霸半導(dǎo)體”)宣布推出 CVflow? 系列最新芯片 CV5,該款人工智能視覺處理器可支持 8K 視頻錄制或 4 路獨(dú)立圖像輸入的 4K 視頻流錄制。 新 SoC 芯片 CV5 將推動(dòng)智能汽車攝像系統(tǒng)、消費(fèi)級(jí)無人機(jī)、運(yùn)動(dòng)相機(jī)和 360° 全景相機(jī),以及機(jī)器人視覺系統(tǒng)的進(jìn)一步發(fā)展。安霸半導(dǎo)體 CVflow AI 引擎與雙核 Arm?A76 處理器的完美集成為各種主流人工智能算法提供卓越性能。CV5 擁有高性能圖像信號(hào)處理器(ISP),可為視頻編碼優(yōu)化以提高人眼觀感,同時(shí)為機(jī)器視覺算法優(yōu)化以提升準(zhǔn)確度。CV5 采用 5 納米先進(jìn)制程,拍攝 8Kp30 視頻所需功耗低于 2 瓦。
安霸半導(dǎo)體首席執(zhí)行官 Fermi Wang 表示:“CV5 的問世讓安霸半導(dǎo)體可為下一代智能汽車、消費(fèi)類相機(jī)和機(jī)器人視覺提供全新革命性解決方案。 我們將性能卓越的 CVflow AI 引擎與 8K 視頻錄制和多路 4K 視頻流錄制集于一身,讓攝像機(jī)擁有優(yōu)秀的圖像處理和新穎的人工智能?!?/p>
在汽車視頻流遠(yuǎn)程處理應(yīng)用中,CV5 可支持多路視頻流編碼,涵蓋前置 ADAS、駕駛員監(jiān)控、車艙監(jiān)控及側(cè)視攝像頭。借助于 CVflow 人工智能引擎,CV5 可同時(shí)運(yùn)行高級(jí)駕駛員輔助系統(tǒng)(ADAS)算法(如車道偏離、前方碰撞預(yù)警)以及駕駛員監(jiān)控算法(如駕駛員疲勞駕駛檢測)等。 多路高分辨率視頻捕捉與先進(jìn)的人工智能處理的完美結(jié)合,可支持 ADAS 攝像頭在遠(yuǎn)距離以更高精度識(shí)別目標(biāo)物體。
對(duì)于那些盈手可握的超低功耗運(yùn)動(dòng)相機(jī),尤其是要支持 8K 視頻高幀率錄制和回放、360 度全景和 VR 的視頻設(shè)備來說,CV5 是非常理想的解決方案。
在消費(fèi)級(jí)機(jī)器人和無人機(jī)應(yīng)用中,CV5 的 CVflow 人工智能引擎可加速 SLAM 運(yùn)算、實(shí)現(xiàn)路徑規(guī)劃、障礙檢測、避障,自主定位導(dǎo)航等全自動(dòng)運(yùn)作。 具體到無人機(jī)航拍,CV5 在執(zhí)行飛行控制和導(dǎo)航功能的同時(shí),可實(shí)現(xiàn)錄制高達(dá) 8Kp60 的視頻。
CV5 與安霸半導(dǎo)體其他 CVflow 系列芯片共享同一套 SDK 和計(jì)算機(jī)視覺算法優(yōu)化(CV)工具,簡化了各個(gè)價(jià)格區(qū)間和不同性能選項(xiàng)的相機(jī)開發(fā)流程。 一套完整的機(jī)器視覺工具包括了編譯器、調(diào)試器,并支持行業(yè)標(biāo)準(zhǔn)的 PyTorch?、ONNX?、Caffe? 和 TensorFlow? 等機(jī)器學(xué)習(xí)框架,以及卷積神經(jīng)網(wǎng)絡(luò)(CNN)性能優(yōu)化完全指南,可幫助客戶將自己的神經(jīng)網(wǎng)絡(luò)快速移植到 CV5 上。
CV5 芯片關(guān)鍵特征:
支持 DNN 的 CVflow 架構(gòu)
雙核 1.6GHz Arm?Cortex?-A76 附帶 NEON?DSP擴(kuò)展和 FPU
高速 SLVS-EC, MIPI-CSI (C/D PHY)接口,可接入多達(dá) 14 個(gè)攝像頭
多通道 ISP,處理能力高達(dá) 8KP60
原生支持 RGGB、RCCB、RCCC、RGB-IR 和單色傳感器
多重曝光高動(dòng)態(tài)范圍(HDR)處理
實(shí)時(shí)硬件加速的魚眼鏡頭畸變校正(LDC)
支持多碼流,高達(dá) 8Kp60 的 AVC 和 HEVC 編碼
多種外設(shè)接口,包括 4 通道 PCIe、CAN FD、千兆網(wǎng)口、USB 3.1(主/從模式),三個(gè) SD 卡控制器,MIPI DSI/CSI-2 和 HDMI 輸出
支持高達(dá) 32GB 的 LPDDR4x / LPDDR5 / LPDDR5x, 64 位數(shù)據(jù)總線
可實(shí)現(xiàn)設(shè)備信息安全包括安全啟動(dòng),支持 TrustZone?、TRNG、OTP、內(nèi)存隔離,內(nèi)存加密和虛擬化
5nm 制程
16×16 FBGA 封裝,球間距 0.5 mm