Arm在邊緣AI領(lǐng)域的三大賦能策略

通信世界網(wǎng)消息(CWW)Netflix花了10年時(shí)間達(dá)到一億用戶，Twitter用了5年，Instagram用了2.5年，TikTok縮短至9個(gè)月，而ChatGPT只用了2個(gè)月。AI浪潮席卷而來，生成式AI不僅應(yīng)用在云端，實(shí)現(xiàn)寫詩(shī)作畫、聊天客服、視頻生成等應(yīng)用，而且在邊緣側(cè)的落地速度同樣驚人，并有望助力千行百業(yè)自動(dòng)化轉(zhuǎn)型和新質(zhì)生產(chǎn)力的提升。Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健在深圳國(guó)際電子展的Kaifa Gala活動(dòng)上講到，“我們正在迎來AI的‘高光’時(shí)刻?！?br/>

從GenAI到PyhAI，邊緣AI嶄露頭角

當(dāng)前，我們正處于AI計(jì)算普及的初期，AI基礎(chǔ)設(shè)施的部署以集中式的云與數(shù)據(jù)中心為主，以支持大規(guī)模的AI訓(xùn)練和數(shù)據(jù)處理任務(wù)。但同時(shí)，AI模型和計(jì)算芯片技術(shù)的突破，以及對(duì)實(shí)時(shí)響應(yīng)、成本、用戶體驗(yàn)和安全隱私的訴求，讓AI算力快速分布到邊緣設(shè)備。

AI PC、AI手機(jī)和AI汽車等AI產(chǎn)品層出不窮，通過AI加持的CPU、GPU和NPU，能夠?qū)崿F(xiàn)對(duì)于小型語言模型在邊緣設(shè)備上的本地支持。而多模態(tài)大模型也將在自動(dòng)駕駛、機(jī)器人、黑燈工廠和智能家居中樞等新的邊緣計(jì)算場(chǎng)景中實(shí)現(xiàn)賦能。未來，AI算力作為一種類似水和電一樣不可或缺的基本資源，將無處不在。

實(shí)現(xiàn)這樣的愿景，需要從GenAI向PyhAI轉(zhuǎn)化，而要實(shí)現(xiàn)這一轉(zhuǎn)化包含了多模態(tài)性(Multimodality)、端到端(End-to-End)、三維空間和物理理解(3D Spatial and Physics Understanding)三部分。馬健表示，只有實(shí)現(xiàn)AI和物理世界的融和，才能釋放出AI技術(shù)的最大價(jià)值。

其一是多模態(tài)性，AI模型可處理和生成多種形式的數(shù)據(jù)，包括文本、圖像、聲音、視頻和數(shù)據(jù)等。其二是端到端，進(jìn)行端到端訓(xùn)練推理，以達(dá)到更實(shí)時(shí)的響應(yīng)，比如機(jī)器人可以通過觀察環(huán)境直接生成執(zhí)行的動(dòng)作或決策。其三是三維空間和物理理解，這一階段的AI具備理解和模擬三維空間特性和物理原理的能力，朝著更接近物理智能的方向邁進(jìn)，如此具身智能機(jī)器人才能更好地避障并順利完成任務(wù)。

“邊緣AI方興未艾，在未來將迎來蓬勃的發(fā)展?！瘪R健表示，現(xiàn)階段傳感器主要起到采集信息的作用，邊緣的網(wǎng)關(guān)等設(shè)備也不支持AI模型，絕大部分的數(shù)據(jù)分析、推理、決策發(fā)生在云端。但邊緣AI已經(jīng)嶄露頭角，本世紀(jì)末，傳感器本身模態(tài)將變得更加豐富，可以支持簡(jiǎn)單智能數(shù)據(jù)處理，而對(duì)數(shù)據(jù)的分析、推理以及對(duì)行為的規(guī)劃將根據(jù)實(shí)時(shí)性要求實(shí)現(xiàn)“云邊端”協(xié)同，AI算力整體水平提升，并能夠以更模塊化的方式呈現(xiàn)。

三路并舉，Arm全面賦能邊緣AI

作為世界上最普及的計(jì)算平臺(tái)，Arm正在承載從云到邊的各類新興的AI應(yīng)用與工作負(fù)載。面向新時(shí)代的邊緣AI創(chuàng)新，Arm致力于在硬件、軟件和生態(tài)系統(tǒng)三個(gè)方面同步推進(jìn)。

硬件是Arm之本。

隨著邊與端側(cè)AI推理需求的增長(zhǎng)，Arm利用Arm Cortex-M和Cortex-A持續(xù)豐富邊緣算力，并在最新的Armv9架構(gòu)的A系列產(chǎn)品中引入SVE、SVE2、SME，以更有效、更便利地處理邊緣AI負(fù)載。同時(shí)，Arm持續(xù)增強(qiáng)CPU的矢量以及矩陣處理能力，并推出Arm Ethos系列AI加速器產(chǎn)品，打造高性能產(chǎn)品。此外，面對(duì)萬物互聯(lián)和安全的需求，Arm推出Arm TrustZone等技術(shù)增強(qiáng)安全，并保護(hù)敏感數(shù)據(jù)和操作。

具體來看，Arm通過Armv8.1-M引入Helium矢量擴(kuò)展，增強(qiáng)Cortex-M產(chǎn)品線的機(jī)器學(xué)習(xí)和數(shù)字信號(hào)處理性能。高效的Cortex-M55、高性能的Cortex-M85，以及最新推出的Cortex-M52嵌入式處理器均支持Helium。Helium可使信號(hào)處理性能提升5倍，ML性能提升15倍，為AI在小型低功耗設(shè)備上的普及奠定基礎(chǔ)。

Ethos-U NPU是世界上首個(gè)嵌入式AI加速器，目前已經(jīng)被英飛凌、恩智浦、奇景光電和Synaptics等領(lǐng)先廠商所采用。從第一代的Ethos-U55到最新的Ethos-U85，不僅在性能與能效上實(shí)現(xiàn)顯著提升，還增加了新的算子和Transformer神經(jīng)網(wǎng)絡(luò)的原生支持。Ethos-U系列NPU則提供一致的工具鏈，為邊緣AI生態(tài)帶來無縫的開發(fā)者體驗(yàn)，使合作伙伴能夠復(fù)用Arm對(duì)于AI的投入。

此外，為加速物聯(lián)網(wǎng)以及邊緣AI芯片設(shè)備的開發(fā)及市場(chǎng)推廣，Arm將豐富的處理器以及系統(tǒng)IP預(yù)先集成驗(yàn)證，以Arm Corstone參考設(shè)計(jì)平臺(tái)的形式提供給客戶，并佐以Arm及生態(tài)系統(tǒng)提供的基礎(chǔ)軟件、模型庫(kù)、中間件及參考應(yīng)用。

軟件賦予產(chǎn)品靈魂。

Arm提供廣泛的軟件、工具和標(biāo)準(zhǔn)，幫助工程師更方便地開發(fā)、部署基于Arm平臺(tái)的高性能AI應(yīng)用，釋放AI硬件性能潛力。

在工具方面，Arm IP Explorer可讓芯片架構(gòu)師便捷進(jìn)行芯片設(shè)計(jì)中IP的選型與配置。Arm提供MLIA、ML-zoo模型庫(kù)以及ML Evaluation Kit等工具，幫助開發(fā)者更敏捷地設(shè)計(jì)部署邊緣AI。

在軟件方面，Arm支持多種主流ML框架，包括PyTorch、TensorFlow、TensorFlow Lite、ONNX以及中國(guó)本土的百度飛槳等。根據(jù)不同目標(biāo)，Arm提供不同的ML編譯器，使ML模型在不同硬件處理器上最優(yōu)化地執(zhí)行。

在標(biāo)準(zhǔn)方面，Arm提議并支持開放標(biāo)準(zhǔn)TOSA，旨在簡(jiǎn)化從訓(xùn)練環(huán)境到不同硬件平臺(tái)的部署過程。Arm與Meta的合作就依托于Arm在TOSA方面的巨大投入。

生態(tài)系統(tǒng)是Arm成為AI時(shí)代首選計(jì)算平臺(tái)的關(guān)鍵。

Arm在手機(jī)、云、物聯(lián)網(wǎng)和汽車等多方面的普及歸功于Arm豐富活躍的生態(tài)系統(tǒng)。生成式AI時(shí)代，Arm正與合作伙伴攜手，在ML開發(fā)流程的每一步中提供全面的支持和價(jià)值，強(qiáng)化開發(fā)者在從概念到部署整個(gè)過程中的能力。

Arm的ML軟件和工具協(xié)助模型評(píng)估、轉(zhuǎn)化、編譯，以及針對(duì)硬件的優(yōu)化，專注于在多種邊緣AI與智能物聯(lián)應(yīng)用場(chǎng)景下提供優(yōu)秀的性能和效率。當(dāng)前，Arm正與英偉達(dá)展開合作，針對(duì)英偉達(dá)TAO進(jìn)行適配。這是一套針對(duì)Ethos-U NPU使用的低代碼開源AI工具包，有助于構(gòu)建性能優(yōu)化的視覺AI模型，并將其部署于搭載Ethos-U的處理器上。

更值得關(guān)注的是，由于Arm獨(dú)特的技術(shù)授權(quán)模式和開放生態(tài)，OEM和ODM可以有多種基于Arm架構(gòu)和計(jì)算平臺(tái)的芯片與模組選擇，更靈活地開發(fā)適于最終應(yīng)用的系統(tǒng)方案。

“在過去一兩年大模型、生成式AI迅猛發(fā)展時(shí)期，業(yè)內(nèi)痛并快樂著，快樂的是AI帶來機(jī)遇，基本上會(huì)更新所有領(lǐng)域的芯片、軟件;痛的是AI演進(jìn)速度太快，模型應(yīng)用層出不窮，讓芯片設(shè)計(jì)公司應(yīng)接不暇，如何選賽道定規(guī)格，加速產(chǎn)品開發(fā)上市，產(chǎn)生差異化，都可能為行業(yè)帶來挑戰(zhàn)?！瘪R健表示，Arm能提供AI從云到端、現(xiàn)代敏捷開發(fā)、部署流程中所需的特性和功能，實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu)和統(tǒng)一工具鏈的AI轉(zhuǎn)型。Arm計(jì)算平臺(tái)在AI淘金潮中可以為大家提供一套簡(jiǎn)單易用而且普適的利器，把從云到端非差異化的部件做好、做精，讓大家用著順手，挖掘AI金礦。

創(chuàng)新IP授權(quán)模式，為企業(yè)量體裁衣

從Cortex-M嵌入式處理器的Helium矢量增強(qiáng)指令集，到Cortex-A應(yīng)用處理器的SVE、SVE2、SME對(duì)矢量和矩陣運(yùn)算的優(yōu)化，再到Ethos-U AI加速器。隨著邊緣AI的持續(xù)發(fā)展，Arm始終處于推動(dòng)市場(chǎng)和技術(shù)進(jìn)化的核心地位，但Arm不會(huì)止步于此。

當(dāng)前，大模型通過持續(xù)量化、剪枝和聚類技術(shù)，已經(jīng)可以從幾千億參數(shù)縮減優(yōu)化到幾十億參數(shù)，甚至是幾千萬參數(shù)的小模型，適于在邊緣和超級(jí)終端設(shè)備部署。馬健表示，大小模型“云邊端”結(jié)合將成為未來AI產(chǎn)品的重要發(fā)展趨勢(shì)、AI應(yīng)用賦能行業(yè)發(fā)展的重要方向，而Arm也將攜手生態(tài)伙伴，挑戰(zhàn)邊緣大模型性能和能耗極限。

同時(shí)，據(jù)馬健介紹，為了讓廣大生態(tài)可以更容易地訪問使用Arm技術(shù)，降低開發(fā)門檻，加速產(chǎn)品敏捷開發(fā)，在海外極受歡迎的Arm Flexible Access近期已在中國(guó)市場(chǎng)落地。Arm Flexible Access通過支付實(shí)惠的年費(fèi)，訪問適用于邊緣AI創(chuàng)新的Cortex-A、Cortex-R、Cortex-M CPU、Ethos NPU、Mali GPU和ISP，參考設(shè)計(jì)以及仿真模型和工具鏈，自由選擇適合諸位產(chǎn)品訴求的組合，進(jìn)行設(shè)計(jì)和優(yōu)化，在芯片流片量產(chǎn)時(shí)再支付選用IP的授權(quán)金和之后權(quán)利金的費(fèi)用。

智能必須無所不及，“云邊端”缺一不可。馬健表示，目前全球約有90%的AI都運(yùn)行在基于Arm架構(gòu)的CPU上，這些持續(xù)投入使Arm成為全球最普遍的AI計(jì)算平臺(tái)之一，吸引了越來越多的開發(fā)者加入進(jìn)來，未來Arm將繼續(xù)與生態(tài)伙伴砥礪奮進(jìn)，釋放AI規(guī)模潛力。