人工智能時代下,中國智慧視覺產業(yè)迎來發(fā)展機遇,根據艾瑞咨詢發(fā)布的《2020年中國人工智能產業(yè)研究報告III》,2020年我國智慧視覺核心產品的市場規(guī)模占整個人工智能行業(yè)的57%,達到862.1億元。一款高性能、高能效比、低成本的端側智能視覺芯片,是各類應用所需要的。
在日前舉辦的第十一屆松山湖中國 IC 創(chuàng)新高峰論壇上,時擎智能科技帶來了自主研發(fā)的新一代 RISC-V架構的端側智慧視覺芯片 AT5055。
時擎智能科技(上海)有限公司總裁于欣
據時擎智能科技總裁于欣介紹,AT5055搭載時擎科技自研RV32 IMCF的TM800處理器@800MHz,2.3DMIPS/MHZ,3.8 CoreMark/MHz;存儲上32-bit DDR2/DDR3,安全支持AES/ECC/SHA/TRNG/OTP,支持安全啟動;具備Ethernet/USB/SDIO/UART/I2C/SPI/ADC/PWM等外設。封裝規(guī)格為QFN128,12mm x 12mm,合封DDR。
AI能力上,搭載Timesformer Bumblebee 600V處理器,完成整網神經網絡處理,包括前處理、后處理,無需額外CPU輔助,減少調度、通信開銷。更豐富、靈活的算子,減少CPU操作。通過向量加速、專用處理器進一步提升卷積以外的性能。支持權重、數據壓縮和靜態(tài)/動態(tài)數據流調度。節(jié)省DDR帶寬,提高數據搬運效率。
超高硬件利用率,僅以0.6T算力即可支持競品需要1T以上算力的實時人臉檢測、人形檢測等典型應用,同時支持各類主流網絡結構和各類神經網絡后處理tensorflow/pytorch框架以及CV圖像處理和語音聲學前處理DSP算法。
多媒體處理上,AT5055支持雙目視覺的完整視頻通路,包括支持TOF sensor及TOF ISP,可應用于各類3D視覺應用;高性能ISP、H.265視頻編解碼和1080P顯示的解決方案,支持4+2麥克風陣列,并內置多麥降噪和本地語音識別算法。另外,AT5055支持多路mipi/dvp的圖像傳感器輸入的數據通路,根據Sensor類型和應用需求進行靈活組合,滿足雙目視覺,活體檢測等各類應用需求。提供豐富的輸出顯示支持,適配3-10寸各類MIPI/RGB接口的主流屏幕,適配HDMI圖像調試接口。
在ISP圖像處理中,如果采用傳統(tǒng)單幀寬動態(tài)技術,sensor輸出高bit數據全局映射到低比特輸出,可以大幅改善高對比度場景以及夜晚暗部場景的亮度表現(xiàn),同時不會引入太多色彩噪聲。
如果采用單幀非局部去噪方法。先使用本幀內像素匹配形成基礎噪聲估計,再通過原圖和基礎估計進行更細致的去噪。可以大幅改善夜晚等暗光場景的亮度表現(xiàn)、
使用基于場景的調色模塊,可以在識別場景語義的先驗信息的情況下,智能的調節(jié)WB、AE、LUT等參數,達到輸出影像級的色彩效果。
如使用基于場景的暗光增強模塊,在不顯著增加噪聲的情況下,大幅提升圖像觀感。使用豐富的訓練場景,可以使ISP在暗光增強的同時,學習特殊的色彩風格。
對比傳統(tǒng)多處理器開發(fā)方案,時擎科技基于全部自研的RISC-V處理器可以提供“一站式”開發(fā)環(huán)境大幅簡化異構芯片編程、調試,提高開發(fā)效率,無需開發(fā)者過多關注異構多核之間的通信交互和任務調度。
于欣表示,市面上大多數芯片廠商需要license第三方的算法以及第三方的IP, 算法適配時開發(fā)效率低下,甚至無法有效發(fā)揮硬件性能。而時擎芯片+處理IP全自研可以大幅提高算法、方案開發(fā)效率并充分發(fā)揮芯片性能。
功耗設計上,AT5055 具有uA級的待機功耗,配合RTOS的系統(tǒng)快速啟動方案,可以支持各類電池供電的設備;支持包括人聲(VAD)喚醒,RTC喚醒,GPIO喚醒等多樣的喚醒模式,支持多級喚醒,適配不同場景的喚醒要求;多電源域設計支持6個主要電源域,可以根據不同應用不同需求組合出最優(yōu)的功耗管理方案;定制的LDO、PowerSwitch。超低漏電IO、VAD等專用Macro,在底層進行功耗的精細控制。
時擎智能科技(上海)有限公司 (Timesintelli Technology) 成立于2018年,是一家專注于自然人機交互的端側智能芯片提供商,成立以來先后獲得過SIG海納亞洲、浦東科創(chuàng)等知名投資機構的投資。
時擎科技致力于從落地場景的需求出發(fā),通過架構創(chuàng)新和定制化芯片設計,為廣泛的端側設備提供支持語音、視覺、影像、顯示等多模態(tài)智能人機交互和數據處理的芯片產品及完整的系統(tǒng)級解決方案。