AI正在以前所未有的速度迅速席卷全球市場。據Gartner預測，到2026年，80%的全球企業(yè)將使用生成式AI，50%的全球邊緣部署將包含AI。而IDC數據顯示，中國生成式AI投資增長加速，2022到2027年五年的復合年增長率達到86.2%，生成式AI正在成為驅動智能發(fā)展的關鍵技術。在這當中，邊緣側AI正在為企業(yè)釋放更強大的生產力發(fā)揮越來越重要的作用。
Gartner預測，到2025年，50%以上的企業(yè)管理數據將在數據中心或云之外創(chuàng)建和處理。而且，隨著AI為自動化帶來更多機會，到2030年，至少一半的邊緣計算部署將納入AI。
英特爾中國網絡與邊緣計算事業(yè)部高級平臺方案架構師楊濤在“2024國際AIoT生態(tài)發(fā)展大會”上談到，之所以要把一部分AI能力放在邊緣側，這與數據安全性、網絡時延以及可能出現(xiàn)的網絡帶寬風暴密切相關。并且，與云端和數據中心當中的大模型使用相比，一般來說邊緣側模型的參數會相對小一些。
他也提到，當下隨著AI應用需求的不斷遞增，英特爾以強大的芯片基礎、軟件定義的簡便性以及開放多元的生態(tài)系統(tǒng)，幫助企業(yè)簡化在PC、邊緣和數據中心部署AI的復雜流程，助力他們充分釋放AI潛力。
邊緣AI市場持續(xù)升溫，驅動企業(yè)在邊緣側部署的實際原因?
“一是數據的安全性，是不是放心把數據都放到云端，還是在邊緣端更合理。第二，隨著邊緣數據量越來越大，整個傳輸帶寬是個問題，雖然國內在整個基礎建設傳輸帶寬建設是全球最領先的，但當大量數據在邊緣產生時，仍然可能引發(fā)網絡風暴，我們仍需要進一步優(yōu)化網絡管理和數據傳輸策略。第三，實時性，很多東西只能在邊緣做才能解決實時性的要求。”
也正是基于以上原因，使得邊緣AI正在成為越來越多企業(yè)新的選擇。
英特爾除了在數據中心訓練的產品以外，也在針對集成顯卡重新做一些大的架構改動，以此來提高更多的算力。
大量的AI應用，芯片廠商該怎么去滿足算力需求?
在傳統(tǒng)的CPU里面，我們會通過新加一些向量指令來支持這些AI，但是傳統(tǒng)的CPU有它的算力瓶頸，大概最高能到5 Tops算力水平，不過它的靈活性會非常高，而且計算速率會更快。
楊濤透露，英特爾也在考慮另外一種的計算單元NPU也就是神經網絡處理器加速器，“下一代AI PC旗艦處理器Lunar Lake集成了CPU、GPU、NPU，這些器件總計帶來了120TOPS的AI算力——CPU通過添加向量指令支持AI，可以帶來5TOPS的算力，內置的GPU算力高達67TOPS，同時還帶矩陣計算能力，NPU(神經網絡處理器)帶來更高的效率，帶來了最高48TOPS的算力?！彼硎?。
在邊緣側除了算力挑戰(zhàn)之外，軟件層面也面臨著如何把算力釋放出來的挑戰(zhàn)。目前數據中心的訓練都是開拓企業(yè)增值服務這種框架，但是這種框架一般非常繁瑣，在邊緣側使用起來這種框架就會不夠靈活，性能也不是特別理想。
為提高產品開發(fā)的靈活性，英特爾還特別推出了OpenVINO?工具套件，此工具套件專為加速機器學習解決方案開發(fā)而設計。英特爾? 發(fā)行版 OpenVINO? 工具套件基于卷積神經網絡 (CNN)，可在英特爾? 硬件(包括加速器)之間共享工作負載，從而最大限度地提升性能。滿足開發(fā)人員、OEM和ISV的需求，幫助他們采取具有高性能、易用性和可移植性的AI推理。
英特爾? 發(fā)行版 OpenVINO? 工具套件包括：
模型優(yōu)化器，用于轉換來自 Caffe*、TensorFlow*、Open Neural Network Exchange (ONNX*) 和 Kaldi 等常見框架的模型
推理引擎，為跨英特爾計算機視覺加速器(包括 CPU、圖形處理單元、FPGA 和英特爾? 神經電腦棒 2(英特爾? NCS2))的異構執(zhí)行提供支持
適用于異構英特爾? 硬件的通用 API
在演講最后環(huán)節(jié)，楊濤透露，英特爾產品發(fā)展的三個方向：支持更多模型、優(yōu)化邊緣側推理、以及跨平臺部署，通過神經網絡壓縮、量化技術和動態(tài)算力調度等技術，致力于提供性能優(yōu)越、功耗優(yōu)化的推理平臺。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
