多模態(tài)傳感信號(hào)AI處理為智算中心和邊緣智能開(kāi)啟感知智能的新篇章

全球領(lǐng)先的邊緣AI和智能音頻專(zhuān)家XMOS宣布：公司已推出端側(cè)多模態(tài)AI傳感器融合接口（AI Sensor Hub），該接口利用XMOS的xcore軟件定義系統(tǒng)級(jí)芯片（SoC）上靈活的接口和高效的算力，在邊緣對(duì)來(lái)自不同接口的包括音頻、圖像、視覺(jué)和其他多種傳感器輸出的多模態(tài)信號(hào)進(jìn)行融合以及AI計(jì)算，既可支持本地設(shè)備獨(dú)立地對(duì)各種傳感器信號(hào)進(jìn)行AI推理計(jì)算，也可作為智算系統(tǒng)的輸入前端并執(zhí)行相應(yīng)的功能。該方案可立即實(shí)施的應(yīng)用包括大模型、云服務(wù)和專(zhuān)用網(wǎng)絡(luò)及系統(tǒng)的智能接入，以及智能視頻門(mén)鈴、視頻監(jiān)控設(shè)備、多模態(tài)傳感器集中器、車(chē)牌識(shí)別等邊緣智能設(shè)備。

與那些裝備精良、耗費(fèi)靡多的云服務(wù)和計(jì)算機(jī)系統(tǒng)不同，XMOS利用其集AI、DSP、控制和I/O于一體的xcore軟件定義SoC，結(jié)合諸如深度神經(jīng)網(wǎng)絡(luò)（DNN）等模型，可以超小型化和低功耗的單芯片就實(shí)現(xiàn)了這些多種傳感信號(hào)的多模態(tài)AI處理。XMOS的多模態(tài)技術(shù)已經(jīng)取得了突破性進(jìn)展，合作伙伴通過(guò)使用xcore這樣的嵌入式SoC不僅運(yùn)行了DNN模型，還開(kāi)發(fā)了實(shí)現(xiàn)人臉檢測(cè)、特征提取、身份驗(yàn)證、安防報(bào)警、車(chē)牌識(shí)別和圖像分類(lèi)等功能的系統(tǒng)解決方案，而且還根據(jù)平臺(tái)需求開(kāi)發(fā)了實(shí)時(shí)數(shù)據(jù)預(yù)處理智能前端。

xcore.ai之所以能夠在各種AI應(yīng)用中成為一種可以提供低延遲和高度確定性的AI功能的處理器，得益于獨(dú)特的多線(xiàn)程微架構(gòu)。每個(gè) xcore.ai 具有 16 個(gè)邏輯內(nèi)核，分屬兩個(gè)多線(xiàn)程處理器功能塊，而每個(gè)功能塊配備 512kB 的 SRAM 和一個(gè)提供整數(shù)和浮點(diǎn) ALU 的矢量單元。強(qiáng)大的處理器間通信基礎(chǔ)設(shè)施為每個(gè)集成處理器和多個(gè) xcore.ai SoC 之間提供高速通信，不僅可以實(shí)現(xiàn)最終的可擴(kuò)展性，而且還實(shí)現(xiàn)了并行多線(xiàn)程、多核矩陣計(jì)算。

系統(tǒng)架構(gòu)

XMOS解決方案的優(yōu)勢(shì)

• 可以無(wú)需聯(lián)網(wǎng)，持續(xù)工作，始終可用

• 無(wú)需外部存儲(chǔ)，完成實(shí)時(shí)圖像等信號(hào)的處理

• 絕對(duì)保護(hù)隱私，可設(shè)置為離線(xiàn)解決方案，不將數(shù)據(jù)傳遞到云端

• 邊緣AI提供低延遲響應(yīng)

• 將所有代碼和模式的大小縮減到僅有0.6MB

XMOS xcore.ai處理器如何支持邊緣AI?

• 可開(kāi)發(fā)和訓(xùn)練你自己的模型

• 使用XMOS的“AI工具”進(jìn)行轉(zhuǎn)換

• 生成最優(yōu)化的、矢量化的xcore代碼

• 可同時(shí)運(yùn)行多個(gè)模型

• 用C或C++語(yǔ)言定義您自己的應(yīng)用程序

對(duì)于AI芯片的開(kāi)發(fā)來(lái)說(shuō)，友好的開(kāi)發(fā)環(huán)境極為重要。為了幫助設(shè)計(jì)師更好地開(kāi)發(fā)各種邊緣AI應(yīng)用，XMOS把所有計(jì)算資源及其調(diào)度管理都放在同一個(gè)易用和強(qiáng)大的開(kāi)發(fā)環(huán)境中。這為開(kāi)發(fā)人員提供了完善的技術(shù)支持、工具支持和其他支持。XMOS提供完善的開(kāi)發(fā)工具鏈與豐富的軟件庫(kù)，如免版稅的軟件、強(qiáng)大的XTC開(kāi)發(fā)工具套件，以及專(zhuān)門(mén)設(shè)計(jì)的評(píng)估平臺(tái)。通過(guò)使用這些工具，顯著降低了開(kāi)發(fā)難度，幫助工程師快速將產(chǎn)品概念轉(zhuǎn)化為實(shí)際應(yīng)用，并縮短了產(chǎn)品上市時(shí)間。

“XMOS的多模態(tài)AI模型處理功能可在最具挑戰(zhàn)性的應(yīng)用場(chǎng)景中，實(shí)現(xiàn)實(shí)時(shí)的、持續(xù)工作的AI應(yīng)用，同時(shí)保護(hù)個(gè)人數(shù)據(jù)和隱私，” XMOS亞太區(qū)市場(chǎng)和銷(xiāo)售負(fù)責(zé)人牟濤說(shuō)道。“當(dāng)然，該方案也可以根據(jù)需要，靈活地作為大模型、云和網(wǎng)絡(luò)的智能輸入接口，對(duì)傳感信號(hào)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換提供給下一級(jí)平臺(tái)處理，或者進(jìn)行本地AI處理后只將關(guān)鍵信息提供給平臺(tái)。同時(shí)，XMOS提供的集成開(kāi)發(fā)環(huán)境和第三方軟件可以很方便地開(kāi)發(fā)出商用的邊緣AI解決方案”

與XMOS面對(duì)面交流

第23屆廣州國(guó)際專(zhuān)業(yè)燈光、音響展覽會(huì)（以下簡(jiǎn)稱(chēng)“廣州展”）將于5月27 – 30日在中國(guó)進(jìn)出口商品交易會(huì)展館A、B、D區(qū)盛大啟幕！XMOS作為全球領(lǐng)先的數(shù)字音頻及多媒體AI處理芯片及解決方案提供商，將攜其分銷(xiāo)商曉龍國(guó)際、威健實(shí)業(yè)和瑞致科技，以及增值分銷(xiāo)及設(shè)計(jì)公司飛騰云和其它方案公司共同參加本屆廣州展，屆時(shí)將展出先進(jìn)音頻接口、AI降噪及空間音頻、DSP音效、Hi-Fi解碼器參考設(shè)計(jì)和麥克風(fēng)陣列參考設(shè)計(jì)等技術(shù)和方案。歡迎蒞臨XMOS展位：5.2A66。

如希望了解XMOS全球領(lǐng)先的音頻解決方案、邊緣計(jì)算解決方案、軟件定義SoC及其在其他垂直行業(yè)的應(yīng)用，或與我們合作共同開(kāi)發(fā)面向全球的創(chuàng)新性產(chǎn)品，以及預(yù)約在廣州展期間的見(jiàn)面交流，請(qǐng)發(fā)送郵件到：ThomasMu@xmos.com

關(guān)于XMOS

作為一家匠心獨(dú)到的半導(dǎo)體科技企業(yè)，XMOS一直站在智能物聯(lián)網(wǎng)技術(shù)的前沿，致力于滿(mǎn)足市場(chǎng)對(duì)靈活計(jì)算不斷演進(jìn)的需求。XMOS開(kāi)發(fā)和提供了集AI、控制、DSP和IO于一顆芯片的平臺(tái)化SoC，讓各行各業(yè)的客戶(hù)能夠僅用軟件編程的方式，自己就能定義和實(shí)現(xiàn)高性能、高確定性和智能化的軟件定義SoC，使客戶(hù)和伙伴的工程師能夠充分地發(fā)揮其創(chuàng)造性，同時(shí)其解決方案還能夠更完美地適用于各種場(chǎng)景，包括消費(fèi)電子、工業(yè)和汽車(chē)等重要支柱性領(lǐng)域。