如果說今年邊緣計算有什么新變化，那無疑是大模型的開源化，為規(guī)?；涞靥峁┲匾?。

　　視覺物聯(lián)在《2025邊緣計算市場調(diào)研報告》的企業(yè)走訪中發(fā)現(xiàn)，大模型一體機(jī)成為了今年炙手可熱的明星產(chǎn)品，各大企業(yè)紛紛推出用于本地端的大模型一體機(jī)。

　　憑借強(qiáng)大的泛化能力與語義理解優(yōu)勢，大模型在眾多領(lǐng)域展現(xiàn)出獨(dú)特價值。例如在安防行業(yè)，它能夠精準(zhǔn)理解“可疑人員徘徊”等復(fù)雜語義，無需依賴大量人工標(biāo)注樣本。

　　然而，邊緣設(shè)備自身存在的算力、存儲及實時性等方面的限制，使得純大模型部署困難重重，面臨著算力成本高昂、實時性欠佳以及數(shù)據(jù)適配性差三大嚴(yán)峻挑戰(zhàn)。

　　例如，一個7b參數(shù)的大模型在邊緣端運(yùn)行時，處理單路視頻就需要數(shù)秒時間，難以滿足多路并發(fā)處理的需求；在工業(yè)質(zhì)檢等對響應(yīng)速度要求極高的場景中，大模型每秒僅能處理1幀的速度，遠(yuǎn)遠(yuǎn)無法達(dá)到毫秒級響應(yīng)的標(biāo)準(zhǔn)；此外，邊緣場景數(shù)據(jù)呈現(xiàn)碎片化特點，通用大模型的準(zhǔn)確度僅為75%，需針對性優(yōu)化。

　　小模型則憑借“小而精”的特性，在邊緣端占據(jù)著傳統(tǒng)優(yōu)勢，其訓(xùn)練數(shù)據(jù)量需求少、推理速度快（可達(dá)毫秒級）、硬件兼容性強(qiáng)。

　　但小模型也存在明顯的短板，其語義理解能力相對薄弱，面對未訓(xùn)練過的復(fù)雜場景，如“識別戴安全帽且攜帶工具的工人”時往往束手無策；而且不同行業(yè)需求差異巨大，針對不同場景開發(fā)小模型需要重復(fù)投入，開發(fā)成本高達(dá)數(shù)十萬級門檻。

　　業(yè)內(nèi)的普遍共識是大小模型結(jié)合，小模型用于前置過濾，大模型進(jìn)行深度理解，二者相輔相成，實現(xiàn)成本與效率的平衡。

　　例如，小模型先對視頻流進(jìn)行初篩，過濾99%的常規(guī)畫面，大模型則補(bǔ)充小模型算法精度問題。以煙火檢測為例，大模型可以將誤報從15次降至1次，將95%的誤報過濾掉。

　　對于無歷史數(shù)據(jù)的新場景，如寵物行為識別，大模型可基于少量樣本快速生成1.0版本算法，再通過小模型持續(xù)數(shù)據(jù)投喂提升精度，形成“0到1快速驗證+1到100持續(xù)迭代”的閉環(huán)。

　　與過去傳統(tǒng)方案動輒50萬開發(fā)費(fèi)及大量標(biāo)注數(shù)據(jù)的投入相比，大小模型結(jié)合后，5萬元即可啟動項目，極大地降低了開發(fā)門檻；同時，小模型運(yùn)行于低功耗邊緣盒子，大模型部署于算力稍強(qiáng)的邊緣服務(wù)器，避免“殺雞用牛刀”的資源浪費(fèi)。

　　以智慧交通應(yīng)用場景為例，小模型實時抓拍車牌、車型，大模型分析“多車連續(xù)變道”、“行人橫穿馬路”等復(fù)雜事件，為交通調(diào)度提供決策支持。

　　但不容忽視的是，目前國產(chǎn)化芯片還無法支持大模型運(yùn)行，企業(yè)需通過模型輕量化（如量化、剪枝）與異構(gòu)計算（CPU+NPU協(xié)同）緩解；在實際應(yīng)用中，大部分企業(yè)仍不得不選擇英偉達(dá)芯片。

　　小結(jié)

　　邊緣計算的智能化變革，絕非大模型對小模型的替代，而是二者在算力、成本、精度間尋找最優(yōu)解的過程。對于企業(yè)而言，需以場景需求為導(dǎo)向，若追求極致實時性與成本控制，小模型仍是首選；若面臨復(fù)雜語義理解與創(chuàng)新場景開拓，大模型則是破局關(guān)鍵。

　　視覺物聯(lián)聯(lián)合AIoT星圖研究院已經(jīng)啟動《2025邊緣計算市場調(diào)研報告》，將從技術(shù)發(fā)展與落地應(yīng)用等方面展開深度調(diào)研，揭示行業(yè)基本面，洞察競爭格局，為企業(yè)戰(zhàn)略制定、投資決策、市場拓展等提供結(jié)構(gòu)化的參考依據(jù)。

　　我們擬將調(diào)研更多深耕邊緣計算領(lǐng)域發(fā)展方向的企業(yè)，并從中總結(jié)行業(yè)發(fā)展現(xiàn)狀以及未來發(fā)展趨勢，供其他企業(yè)參考，歡迎企業(yè)踴躍報名參加。