隨著端側(cè)AI勢(shì)如破竹的發(fā)展，在最近召開的2024國(guó)際AIoT生態(tài)發(fā)展大會(huì)上，安謀科技智能物聯(lián)業(yè)務(wù)線業(yè)務(wù)發(fā)展與方案總監(jiān)商德明先生為所有芯片、端側(cè)AI開發(fā)者們介紹端云之間生態(tài)互動(dòng)的產(chǎn)生以及所涉及到硬件的更新、軟件和應(yīng)用的變化。無論是端側(cè)還是云側(cè)，最終要實(shí)現(xiàn)的目標(biāo)是為了帶來更大的生態(tài)效應(yīng)，能夠支持更多的客戶使用相同的方案。通過云跟端的整體配合，云端混合的方式能夠真正落地，產(chǎn)生最大的效益。

　　端側(cè)到底為什么發(fā)展起來?

　　1、節(jié)約成本

　　不管是什么樣的任務(wù)、請(qǐng)求，每一次的傳輸，都會(huì)經(jīng)過大模型的計(jì)算，電力成本就會(huì)非常高，但是如果在端側(cè)區(qū)域去進(jìn)行一部分推理，幫助用戶，成本就會(huì)少很多。以及云端能源的耗費(fèi)，如果我們?nèi)匀粚⒅匦姆旁谠贫松?，將來可能全世界開發(fā)的能源都要被云端所消耗。

　　2、信息安全

　　端側(cè)的AI嵌入意味著在端側(cè)就能進(jìn)行信息的識(shí)別、處理，在私密性和安全性方面天生有優(yōu)勢(shì)。不僅是關(guān)乎個(gè)人的數(shù)據(jù)，更是涉及到很多敏感的，需要安全級(jí)別高的數(shù)據(jù)，包括金融、財(cái)務(wù)等方面，這些非常重要的數(shù)據(jù)，放在端側(cè)能更好地保證數(shù)據(jù)的安全性，避免了統(tǒng)一存儲(chǔ)云端的不安。

　　3、及時(shí)反饋

　　有些性能要依賴網(wǎng)絡(luò)來解決問題，就會(huì)面臨延時(shí)的問題，網(wǎng)絡(luò)某種程度上影響了云端運(yùn)行效率。即時(shí)性要求不高的行動(dòng)或許還能接受，但是有很多關(guān)鍵性的應(yīng)用，需要及時(shí)反饋行動(dòng)，比如機(jī)器人去救火，或者是快速及時(shí)的汽車行駛，這些場(chǎng)景對(duì)實(shí)時(shí)性的要求非常高，云側(cè)AI所帶來的弊端就顯現(xiàn)出來了。

　　端側(cè)AI會(huì)帶來什么樣的變化?

　　1、芯片

　　無論AI如何發(fā)展，研發(fā)、制作芯片的成本依然非常高。因?yàn)樾酒坏┻M(jìn)入到設(shè)備，比如進(jìn)入到車?yán)锘蛘叻?wù)器里面，它所關(guān)聯(lián)的價(jià)值就更高，芯片會(huì)有一個(gè)非常重大的責(zé)任，需要負(fù)責(zé)端側(cè)在安全、整個(gè)功能上的推進(jìn)。所以芯片的穩(wěn)定性、魯棒性和先進(jìn)性非常重要，更新迭代的速度也很快。

　　然而除了這些常規(guī)的性能要求，目前端側(cè)AI所運(yùn)用到的芯片還需要從不同場(chǎng)景中抓取搜集數(shù)據(jù)。通過海量芯片在市場(chǎng)上的應(yīng)用，芯片可以把應(yīng)用場(chǎng)景以及相關(guān)的數(shù)據(jù)都抓取出來，還可以從全世界所有用戶的使用行為中發(fā)現(xiàn)問題，為芯片的更新迭代提供參考，或者是從一些特殊的場(chǎng)景去集中收集、匯聚信息，更加完整地去測(cè)試各種端側(cè)所處的場(chǎng)景，從而保證技術(shù)在不同的場(chǎng)景、不同用戶之間可以保持一定的穩(wěn)定性。

      通過這種民意的分析，對(duì)客戶訴求的把握，從全球范圍內(nèi)吸取用戶給予的提示和反饋，來不斷的提升產(chǎn)品的質(zhì)量，對(duì)于整個(gè)行業(yè)也是非常大的價(jià)值。再通過大模型的更新，調(diào)動(dòng)所有相應(yīng)的應(yīng)用迭代，使得用戶能夠得到一個(gè)更好的服務(wù)，讓設(shè)備成為一個(gè)智能化、個(gè)性化的助手。

　　2、傳感器

　　傳統(tǒng)端側(cè)的傳感只是起到采集、傳輸?shù)淖饔?，像一個(gè)沉睡中的大腦，但是隨著 AI的價(jià)值和發(fā)展，不僅僅是對(duì)傳感、對(duì)數(shù)據(jù)的采集、傳輸，大腦要醒來，對(duì)整個(gè)數(shù)據(jù)分析，以及分析過后反饋、采取行動(dòng)。

　　傳感是多模態(tài)的，例如自動(dòng)駕駛、機(jī)器人等，在視覺上有8k、4k的攝像頭若干個(gè)，還有雷達(dá)、激光、聲音等相關(guān)的傳感，多模態(tài)輸入使它的復(fù)雜度提高。同時(shí)，面對(duì)海量的數(shù)據(jù)，如何使你的架構(gòu)更加合理，能夠更加快速、實(shí)時(shí)地處理這些數(shù)據(jù)，精確提供企業(yè)需要的足夠的判斷基礎(chǔ)。然后通過AI大模型的生成、AI的判斷，能夠及時(shí)地做出反饋，使得一些相應(yīng)的動(dòng)作能夠發(fā)生。所有端側(cè)設(shè)備都面臨這樣的需求，解決架構(gòu)上的問題。

　　計(jì)算架構(gòu)要優(yōu)化就要求算力的提升。之前的發(fā)展模式中，計(jì)算機(jī)或者芯片基本上都是代理，或者以一個(gè)CPU的架構(gòu)思維、判斷去做公式的計(jì)算，因此一個(gè)CPU也就是幾個(gè)線程、幾十個(gè)線程的能力去發(fā)展。但是隨著 GPU的出現(xiàn)，上百萬的并行的計(jì)算有條件發(fā)生，甚至于不僅僅是同一個(gè)指令、多個(gè)數(shù)據(jù)并行，現(xiàn)在可以同時(shí)很多的指令在一個(gè)周期里面多個(gè)數(shù)據(jù)進(jìn)行計(jì)算。

　　3、半導(dǎo)體

　　本身半導(dǎo)體的發(fā)展，讓我們可以在很小的面積集成更多的單元，所以我們整個(gè)芯片硬件的要求、宗旨，就是能夠在最小的面積里面放更多的電路，使得軟件能在每一個(gè)指定周期實(shí)現(xiàn)電路的最高利用率?？焖俚氐a(chǎn)品，然后以最高的效率使芯片上所有的電路都起作用，發(fā)揮它計(jì)算和數(shù)據(jù)處理的能力。

　　端側(cè)AI的具體應(yīng)用場(chǎng)景以及企業(yè)努力的方向

　　隨著深層次AI的不斷加強(qiáng)，模型的能力也越來越強(qiáng)。模型的輕量化發(fā)展能夠產(chǎn)生更少的參數(shù)，不斷加持AIoT設(shè)備，同時(shí)也很可能會(huì)有新的產(chǎn)品形態(tài)出現(xiàn)，這些都值得密切的關(guān)注。

　　端側(cè)設(shè)備、智能家居等已經(jīng)在推進(jìn)端側(cè)AI的部署。AR、VR、元宇宙的概念大概四五年前就已經(jīng)出現(xiàn)，蘋果等廠家在開發(fā)推進(jìn)過程中，致力于凝練低功耗的同時(shí)更好地呈現(xiàn)顯示效果，這就需要它不斷提高AI算力的支撐。

　　比如監(jiān)控領(lǐng)域，對(duì)于行業(yè)來說，夜視是一個(gè)很大的挑戰(zhàn)。同時(shí)由于它定位的要求，還需要AI賦能虹膜識(shí)別、人臉識(shí)別等相關(guān)領(lǐng)域。以前傳統(tǒng)的監(jiān)控?cái)z像頭，如果有10%的設(shè)備支持AI人臉識(shí)別，就已經(jīng)算是不錯(cuò)的。但是AI發(fā)展到今時(shí)今日，監(jiān)控?cái)z像頭具備AI的功能是必選項(xiàng)。所以我們可以預(yù)測(cè)在未來的三五年，這些端側(cè)設(shè)備能夠有更好的語(yǔ)義理解，支持大模型作為我們貼身的助手。目前AI手機(jī)、AI PC的出現(xiàn)，都是在壓縮、小型化大模型的路上努力，最終達(dá)到能夠在端側(cè)設(shè)備進(jìn)行部署，具備技術(shù)能力、功能。

　　對(duì)于企業(yè)而言，端側(cè)要部署到云側(cè)需要從以下幾點(diǎn)努力：

　　1、架構(gòu)上的互動(dòng)

　　如果云側(cè)的指令級(jí)，跟端側(cè)指令級(jí)是一致的，在同一個(gè)架構(gòu)下去開發(fā)應(yīng)用，那么云端的軟件站和整個(gè)的服務(wù)方案可以無縫遷移到端側(cè)的部分。云側(cè)跟端側(cè)之間本身在在軟件應(yīng)用開發(fā)上是有一致性和兼容性的，這就可以帶來大量的成本和人力的節(jié)約。

　　2、軟件定義硬件

　　開發(fā)模型之后可以通過穩(wěn)定的技術(shù)在端側(cè)部署，軟件定義硬件的能力就出現(xiàn)了。不管是什么樣的硬件平臺(tái)，軟件模型尤其大模型更新，就可以適配不同的場(chǎng)景。比如智慧農(nóng)業(yè)，大模型應(yīng)該可以做到今天監(jiān)測(cè)這些水果，明天去觀察稻谷麥香，或者又去到一個(gè)存儲(chǔ)倉(cāng)庫(kù)、其他各個(gè)需要不同能力的環(huán)節(jié)去應(yīng)用。通過模型的更新，一次性地投入硬件，然后產(chǎn)生各種各樣的應(yīng)用效果。

　　3、獲取數(shù)據(jù)

　　要讓端側(cè)設(shè)備變得更加智慧的話，需要不斷收集互聯(lián)網(wǎng)數(shù)據(jù)。每個(gè)應(yīng)用場(chǎng)景下都會(huì)產(chǎn)生大量的數(shù)據(jù)，互聯(lián)網(wǎng)端側(cè)設(shè)備需要去感知物理世界，獲取、整理，再?gòu)闹刑崛〉阶钣行У臄?shù)據(jù)。如果每次都傳輸原始數(shù)據(jù)，涉及到的數(shù)據(jù)量就會(huì)非常龐大，通過端側(cè)的提煉抓取，再去反饋給云端，在云端進(jìn)行訓(xùn)練，就可以使模型的組合更加智慧或全面，進(jìn)一步再反饋給端側(cè)。

　　端側(cè)AI除了發(fā)展到如今的簡(jiǎn)單應(yīng)用，大模型通用性的職能以外，還要在軟件和生態(tài)上相互配合，和整個(gè)具體的場(chǎng)景相關(guān)聯(lián)，為行業(yè)提供一個(gè)指導(dǎo)方案，從而在端側(cè)或者垂直領(lǐng)域能夠發(fā)揮更重大的作用。