AI的「七年之癢」

　　2016年，智慧視覺行業(yè)「AI」異軍突起，前有以AI四小龍為首的CV明星企業(yè)的輪番上陣，后有傳統(tǒng)企業(yè)向智能物聯(lián)轉(zhuǎn)型的部署，在資本矚目，跨界巨頭入場等的影響下，讓行業(yè)大展突破了原有的行業(yè)邊界，在人工智能的風(fēng)口下，顛覆與重新定義等豪語頻出，行業(yè)熱度達(dá)到空前。

　　2023年，AI從野蠻生長，開始邁向理性認(rèn)知，「創(chuàng)新者的窘境」也成為AI在行業(yè)七年落地的最令人唏噓的現(xiàn)象。大浪淘沙，存活下來的企業(yè)仍需面臨行業(yè)轉(zhuǎn)型的挑戰(zhàn)。自ChatGPT問世以來，業(yè)內(nèi)對于AI的期待再次提升，用大模型賦能千行百業(yè)的浪潮翻涌而起。

　　“在過去AI企業(yè)都走了一段巨大的彎路，我們認(rèn)為AI無處不在，AI可以解決用戶的問題，但沒有人會愿意為一些過度領(lǐng)先的技術(shù)買單，因此要普惠AI，商業(yè)模式上則必須更加的務(wù)實(shí)。”談起AI企業(yè)在行業(yè)的發(fā)展，愛芯元智副總裁史欣向a&s說道。

　　混合精度NPU + AI-ISP 開啟“真黑光”體驗(yàn)

　　無論行業(yè)如何變化，“軟件是實(shí)現(xiàn)智能的核心，芯片是支持智能的基礎(chǔ)”的技術(shù)邏輯是不變的，因此要談?wù)撔袠I(yè)的技術(shù)及應(yīng)用趨勢，仍需從底層技術(shù)角度出發(fā)。

　　面對智慧城市不同場景的碎片化需求，史欣認(rèn)為，愛芯元智將聚焦于芯片的核心——算力和圖像，通過兩個(gè)抓手，實(shí)現(xiàn)圖像效果天花板的持續(xù)拉高與算力資源的最優(yōu)配置，助推行業(yè)數(shù)智化轉(zhuǎn)型。

　　而轉(zhuǎn)化成落地產(chǎn)品，便是混合精度NPU + AI-ISP。據(jù)筆者了解，與業(yè)內(nèi)常見的搭載外部NPU的形式不同，愛芯元智根據(jù)深度神經(jīng)網(wǎng)絡(luò)特性，自研業(yè)內(nèi)領(lǐng)先的愛芯通元混合精度NPU，靈活運(yùn)用低比特混合精度算法，有效提高芯片效能功耗比，降低DDR需求；同時(shí)，愛芯元智在芯片設(shè)計(jì)上將AI引入ISP，使ISP能夠不斷得到訓(xùn)練，同時(shí)AI-ISP突破了傳統(tǒng)ISP瓶頸，使畫質(zhì)得到增強(qiáng)，讓圖像更清晰，滿足客戶極致視覺需求。

　　在過去的幾年里，愛芯智眸AI AI-ISP在智慧城市的應(yīng)用，贏得了市場的認(rèn)可，其將傳統(tǒng)ISP中的HDR、3DNR、RLTM、Demosaic等模塊進(jìn)行AI化，大幅提升了夜視成像的效果。但在a&s測評與實(shí)際應(yīng)用中，不同的AI ISP的產(chǎn)品體驗(yàn)上也會存在差異，這主要是因?yàn)椴煌髽I(yè)對root數(shù)據(jù)的處理存在差異，例如有的直接通過YUV像素編碼進(jìn)行圖像處理和增強(qiáng)，雖然這樣能夠?qū)崿F(xiàn)產(chǎn)品的快速交付部署，但從本質(zhì)上與傳統(tǒng)的ISP區(qū)別不大：一是由于定點(diǎn)技術(shù)的限制，雖然在某些環(huán)境下可以實(shí)現(xiàn)良好的夜視效果，但卻沒有AI自運(yùn)算與自調(diào)節(jié)的能力，二是由于缺乏root數(shù)據(jù)的處理，對于系統(tǒng)的總線帶寬、功耗等都會有較大的挑戰(zhàn)。

　　為了實(shí)現(xiàn)“真黑光”的體驗(yàn)，史欣表示，AI-ISP需要從RAW域進(jìn)入處理，實(shí)現(xiàn)總線帶寬、算力調(diào)度、夜視效果的兼顧，“過去四年，大家看到的是產(chǎn)品在圖像上的優(yōu)化，但其內(nèi)在的技術(shù)演進(jìn)卻沒有想象中的簡單。相比第一代產(chǎn)品，愛芯智眸AI-ISP通過AI賦能ISP Pipeline里的關(guān)鍵模塊，在各種復(fù)雜應(yīng)用場景中全面提升成像效果，為后期智能處理提供高質(zhì)量的圖像、視頻素材。愛芯通元混合精度NPU則通過減少數(shù)據(jù)搬運(yùn)，在一定程度上減小了內(nèi)存墻和功耗墻的阻礙，提高整個(gè)NPU的效率，從而在端側(cè)邊緣側(cè)面積、功耗受限的情況下，以更高的有效算力支持更多的智能算法。簡單地說，在AI-ISP將畫面真實(shí)還原，再通過NPU進(jìn)行優(yōu)化，進(jìn)行更加準(zhǔn)確的圖像處理，在極低照度下獲得超越人眼所見的‘真黑光’效果?！?/p>

　　探索大模型在端側(cè)、邊緣側(cè)的應(yīng)用

　　大模型時(shí)代的到來，正在催動(dòng)行業(yè)未來新一輪技術(shù)和產(chǎn)業(yè)變革。在本次安博會上，不少智慧視覺廠商便向a&s反饋，繼語言大模型之后，視覺大模型將成為新的風(fēng)口，智能視覺產(chǎn)業(yè)將迎來新的蝶變。顯然要實(shí)現(xiàn)的前提是在“芯”上，降低訓(xùn)練和推理的門檻，讓方案能得以便捷的部署，讓更多的企業(yè)能夠同享大模型時(shí)代的成長機(jī)遇。

　　截止當(dāng)前，基于傳統(tǒng)CNN模型的云、邊、端三角互補(bǔ)的算力主線已經(jīng)完成，在AI模型從云端往端側(cè)遷移的過程中，Transformer網(wǎng)絡(luò)結(jié)構(gòu)也在不斷進(jìn)步，作為基于GPT（Generative Pre-trained Transformer）預(yù)訓(xùn)練語言模型的消費(fèi)類產(chǎn)品，ChatGPT的成功也讓技術(shù)圈看到了Transformer的巨大潛力。

　　回顧Transformer視覺模型的發(fā)展歷史，從基于Transformer網(wǎng)絡(luò)結(jié)構(gòu)的語義分割模型應(yīng)用于智能駕駛場景，到分割萬物的SAM和基座視覺大模型DINOv2，Transformer視覺模型的應(yīng)用正走向新的高度。

　　但Transformer模型需要海量的參數(shù)，才能發(fā)揮其價(jià)值，目前較為成功的GPT模型，大部分是在“云端”進(jìn)行訓(xùn)練和落地的，例如業(yè)內(nèi)的頭部企業(yè)，擁有豐富的系統(tǒng)及產(chǎn)品結(jié)構(gòu)，并且有適用的場景項(xiàng)目，因此相對于中小企業(yè)而言，更容易實(shí)現(xiàn)大模型的落地。但是要推動(dòng)大模型產(chǎn)品在市場的廣泛應(yīng)用和發(fā)展，從云端前置，解決在端側(cè)、邊緣側(cè)高效部署Transformer將是大勢所趨。

　　Transformer視覺模型能解決什么問題呢？史欣介紹，面對智慧城市長尾場景碎片化的需求，早期的部署成本過高，需要通過數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練等冗長的步驟及投入，當(dāng)場景出現(xiàn)新的狀況時(shí)，如果數(shù)據(jù)標(biāo)注訓(xùn)練沒有覆蓋，又需要重新的訓(xùn)練，耗時(shí)耗力且效果不好。“Transformer大模型具備語義理解能力，擁有比傳統(tǒng)CNN模型更強(qiáng)的通用性，不需要預(yù)先知道所有的復(fù)雜視覺場景，就能理解和執(zhí)行更廣泛的下游任務(wù)。有了預(yù)訓(xùn)練大模型，采用無監(jiān)督訓(xùn)練，模型都能識別從未見過的新事物?！笔沸肋M(jìn)一步補(bǔ)充。

　　秉承“普惠AI 造就美好生活”的品牌理念，愛芯元智積極探索Transformer大模型前置的方法論，讓中小型企業(yè)也能夠順利搭上大模型這班快車。在年中的時(shí)候，愛芯元智已經(jīng)優(yōu)化了相應(yīng)SoC芯片AX650N，使其成為Transformer端側(cè)、邊緣側(cè)落地平臺，在本次安博會上，愛芯元智發(fā)布AX630C，其新一代的NPU引擎支持主流的Transformer網(wǎng)絡(luò)如ViT/DeiT/Swin/SwinV2/DETR等，可以解決訓(xùn)練數(shù)據(jù)集不足引起的算法精度下降，以及長尾場景下算法的泛化性問題。

　　談及未來行業(yè)AI芯片的發(fā)展趨勢，史欣表示，從芯片的架構(gòu)設(shè)計(jì)角度而言，要想讓Transformer模型更快部署在邊緣側(cè)或端側(cè)，設(shè)法降低大模型帶寬的使用情況，針對Transformer結(jié)構(gòu)進(jìn)行優(yōu)化，讓模型變小且易用更具性價(jià)比。

　　后記

　　“AI大模型時(shí)代，每個(gè)行業(yè)和產(chǎn)品都值得被重新定義”，這是新一代技術(shù)人的時(shí)代壯志。面對瞬息萬變的外部環(huán)境，突破創(chuàng)新是適應(yīng)行業(yè)的唯一方式，今天看到的AI芯片與大模型的結(jié)合只是一個(gè)開始，未來相信會有更多新的應(yīng)用值得被期待。