無論是AI PC、AI手機，還是企業場景裡在機台裡面部署AI模型，邊緣運算（edge computing）是2025年備受關注的科技趨勢之一。不過，雲端上的ChatGPT、Google搜尋跑得如此順暢，為何需要把AI搬到裝置裡？邊緣運算哪裡重要？又為何即便筆電和手機廠推動AI功能，但消費者還沒有清楚感受到邊緣運算的好處？《遠見》一文帶你看。
邊緣運算是什麼？
邊緣運算（edge computing），亦可稱為邊緣AI（edge AI）、裝置端AI（on-device AI），指的是在更接近使用者的裝置上運行人工智慧。
因為不用將資料傳到雲端，而是在網絡「邊緣」上，待資料產生便即時處理，與雲端運算（cloud computing）在概念上恰為對比。
以ChatGPT為例，平常使用者與其對話時，不管選擇的模型是GPT-4o還是o3-mini，AI模型都是在雲端上推論（inference）。
對照之下，企業端（2B）能夠直接將AI模型放進工業電腦與其他裝置，在地端（on-premises）直接運作；面向消費者（2C）的應用，例如微軟、英特爾和筆電品牌高喊的AI PC，以及蘋果、三星等手機大廠宣傳的AI手機、AI Phone，都是主打在裝置上直接運行AI。
從數字上來看，企業端和消費者端都有邊緣運算的商機。根據市調機構IDC今年釋出的預測，預期2025年全球邊緣運算的解決方案支出達到2610億美元，2028年則會成長到3800億美元，年均複合成長率達到13.8%。
資策會也預估，NPU算力超過40TOPS的AI PC，以及內建AI能力的AI手機，未來三年都會看到滲透率的成長。
若細看智慧型手機，尼爾森愛科（NIQ-GfK）指出，今年帶動換機的市場動力之一，就是裝置端的AI。尼爾森愛科供應鏈與產業分析客戶成功總監李宗諺表示，2024年全球手機終端需求11.64億台，今年則預估微幅成長至11.81億台；其中，去年配備AI處理器的手機出貨達158百萬台、佔比14%，今年則預計成長至221百萬台、佔比達20%，可以看出正向發展。
事實上，即將於5月19日舉行的COMPUTEX 2025（台北電腦展），除了輝達（NVIDIA）執行長黃仁勳又將旋風來台外，晶片大廠高通（Qualcomm）的主題演講、矽智財大廠安謀（Arm）的技術高峰對談，同樣聚焦邊緣AI。
邊緣運算為何重要？有哪些適合場景？
在雲端上，ChatGPT、Claude便可以順利運行，為何還要邊緣運算？關鍵在於，雲端運算有其侷限。
陽明交通大學電機系特聘教授黃俊達分析，之所以選擇在地端，而不在雲端運行AI，背後有降低回應延遲（latency），以及考量資安與隱私兩大動力。
若在意回應不能延遲，就可考慮邊緣運算
就回應速度（response time）來說，一般民眾與Google的Gemini、Anthropic的Claude互動時，或許感受不到太大延遲，但隨著任務變得複雜、消耗符元（token）數量提升時，就會發現模型的回應速度出現落差。
這裡的回應速度，不僅限於對話式AI服務回覆使用者的耗時多長，而是泛指接收指令或者感知環境變化後，AI反應所需的整體時間。
例如，智慧駕駛系統能否瞬間判斷出路上行人、安防系統是否能即時辨識可疑行為，或者工業設備可否於製程中迅速偵測出瑕疵，這些應用情境中，回應速度的快慢是評估產品優劣的關注焦點。
黃俊達以今年4月ChatGPT開放免費生成圖片、帶動「吉卜力」風格大頭照風潮為例，當時因為使用者大量湧入，讓OpenAI負荷滿載，執行長奧特曼（Sam Altman）也在社群上發文表示，自家GPU算力用罄，因此限制免費用戶生成圖像的額度。
倘若未來小模型（SLM）成熟，AI晶片效能提升，一般消費者可以直接在手機或者電腦上生成圖像，便不用守候在螢幕前，等待OpenAI或者Google將任務傳到資料中心運算後再回傳結果。
犀動智能創辦人沈書緯補充，即使是在雲端運行，因為AI模型進展，系統回應速度也在不斷提升。若因為速度選擇邊緣AI，代表應用場域對回應時間延遲極為敏感，「像車用這種就可以稱為critical（要緊），」對照之下，一般對話型應用則不會有如此嚴苛的即時性要求。
消費者感受雲端運算的延遲，主因是任務本身耗費不少算力，因此需要等待；對企業來說，雲端支出成本可觀，倘若花費不夠也會影響速度，因此有部分企業選擇地端方案，「如果建在地端，關在企業內部，就不會發生類似這樣的事情，」黃俊達解釋。
企業關注資安和隱私，不敢讓資料和模型上雲
考量回覆速度之外，關注隱私也是企業採用裝置端AI的理由之一。
舉例來說，醫療院所、金控與銀行和高科技製造業因為重視隱私，有些場所並不適合連接網路，對資料上雲本就有所規範，延伸到在邊緣裝置上運算，便是承襲相同邏輯。
前Google台灣董事總經理簡立峰分析，對資料具備機敏性質的公司來說，倘若採用裝置端運算的方案，便不用擔心資料上傳到伺服器，也能放心自行調校模型，掌控權有所提升。他認為無論是使用動機，還是應用場景，企業端邊緣運算已經益發成熟。
邊緣運算有何發展動能？有什麼應用案例？
若要提推展邊緣運算的因素，小語言模型（small language model，SLM）的進步，絕對是值得關注的重要趨勢。
小語言模型日益成熟，讓邊緣運算成為可能
包含微軟、Meta、Google等科技巨頭以及Mistral、OpenAI等新創，除了追隨擴展定律（scaling law），加大模型規模以外，同步也在釋出參數量在數億至數十億之間的小模型。
利用蒸餾（distillation）、剪枝（pruning）等技術減少模型參數量，得到的小模型雖然能力無法與大模型相比，但也有水準之上的表現。黃俊達強調，小模型蓬勃發展能夠激勵邊緣運算，因為未來只要利用筆電或者手機等級的資源，便能夠運行語言模型，對企業和消費者來說，有不少應用機會。
「原來的大語言模型被要求上知天文，下知地理，因為訓練資料什麼都有，但可能沒有一樣真的專精。」黃俊達解釋，企業應用時，可以發展特定領域（domain specific）的小模型，例如提供給公部門客服、醫生查詢病例使用。
觀察消費者端應用，也能看到筆電與手機品牌廠緊鑼密鼓釋出AI功能，例如微軟讓使用者查找電腦使用紀錄的回溯（recall），或者蘋果力推但又延宕的Apple Intelligence。
呼應黃俊達說法，簡立峰指出，因為模型縮小、能力降級，所以要尋找專門（specialized）應用，例如企業有明確細分場景，就會需要客製化模型，這時小模型便有機會派上用場。例如，台灣有一家積極拓展海外據點的高科技製造業者，開發了能在手機端運行的小語言模型，並以產業專有知識與術語進行訓練，協助員工即時翻譯。
「如果硬體規格到達，Edge端的應用場景真的比想像中多，因為每個行業都有。」簡立峰再舉農業為例，他見到有企業推出判斷作物是否生病或者遇上蟲害的應用，只要以手機拍下農作物照片就能辨識，這也是在裝置上運算的實例。
曾有替不同產業客戶導入AI經驗，光禾感知科技創辦人王友光補充，小模型能夠做的事情有其邊界，可以問答、聊天，但做不到理解或者推理，知識也有限。不過，以光禾曾在機上盒部署小模型的應用場景來說，「殺雞不用牛刀，⋯⋯在地端的應用如果只是很簡單的檢索，就用不到太大的模型。」
因為使用者本來就只有查找影片、調整音量等簡單需求，小模型已經可以滿足使用者。「我們生活上其實不是都需要全知全能。你只要有人幫你跑腿去買個便當而已。」
AI Agent倘若全面落地，也需要邊緣運算支援
除了小模型以外，所有軟體大廠和新創傾全力發展的AI Agent（AI代理），也有望推動邊緣運算。
為何AI Agent和邊緣運算有關？原因在於，AI Agent能夠自行拆解任務、制訂行動方案，過程本就需要消耗大量符元。
以規劃旅遊行程為例，Anthropic的Claude、Google的Gemini都有辦法讀懂螢幕上的內容，使用者無需介入，就能完成尋覓合適景點、銜接行程、安排交通、訂旅館和餐廳等任務。
因為不是所有流程都可直接連上第三方的應用程式介面（API），有不少環節仍需要讓AI直接觀察螢幕上的內容，黃俊達分析，倘若將所有運算都上傳到雲端上，算力的消耗量將會非常可觀。
「我要一直把畫面串流到伺服器上，全台灣如果有一百萬人在做這件事情，就有一百萬筆上到伺服器，等於是同時看了一百萬部的YouTube（影片），大概沒有什麼網路可以撐住這件事情。」
因此，他預期未來將會在地端先處理好資料，經過壓縮以後才送到雲端。這便是AI Agent能夠推動邊緣運算進步的原因。
邊緣運算發展有何限制？
雖然邊緣運算備受關注，但企業和消費者尚無法享受其果實，因為硬體和軟體仍有幾個關卡有待克服。
想跑得動夠大的AI模型，硬體成本仍舊可觀
以硬體來說，一大挑戰在於成本。
「絕大部分還是用雲端，地端的話還是比較貴。」王友光直言，雖然地端可控性強，但不是所有客戶都有預算自建地端解決方案，考量到建置機房或者添購顯卡，都有一定成本，這是雲端方案吸引人的原因。
沈書緯補充，在犀動智能部署到旅宿業的智慧音箱裡面，地端運算的只有降噪和喚醒兩種任務，其餘都在雲端進行，原因就是硬體無法負擔更進階的任務。「1個Billion（的小模型）可能跑得動，但是沒辦法滿足客人需求。」
在同等價位之下，硬體還無法運行一定規模以上的模型，換個角度來看，可以說軟硬體都還有需要解決的課題。
軟硬體沒到位，模型不夠小、記憶體和頻寬有限
黃俊達分析，不管是AI PC或者AI Phone，記憶體容量不足、傳輸符元頻寬不夠、算力不若GPU充沛、執行運算的耗能太多，這些都是實現裝置端AI願景的阻礙。
他曾參與Google駐點科學家計畫，與Google工程團隊近距離討論裝置端AI問題，「反正就是兩件事，一個就是增加硬體計算量的供給，另外一個就是減少需求量。」
因為運算還不夠有效率，要添購更高價位的硬體才能滿足需求，若無法負擔硬體成本，就會暫時選擇在雲端上運算，可以說，軟硬體配適不足，使得既有硬體成本過高，是一體兩面的問題。
黃俊達表示，一邊要改善硬體設計以加速運算，另一邊則要調教深度學習演算法以配合硬體，「（模型開發商）如果可以把模型大小砍成四分之一、五分之一，我再把硬體的效率往上提兩倍、三倍，乘起來最後就能夠讓這件事情在地端成真。」
倘若兩者能夠完美搭配，距離普羅大眾都能夠享受到AI帶來好處的理想日子，就會愈來愈近。
如何決定選擇邊緣運算，還是雲端運算？
處在邊緣運算有需求、但軟硬體尚未成熟的過渡期，企業應該選擇雲端、地端，還是混合AI（hybrid AI）的解決方案？
王友光指出，企業家應該考量任務難度，以及同時服務人數（concurrent users）兩個指標，前者可以估算每秒需要產生多少符元才能完成任務，再乘上後者數字，就可以抓出地端運行的硬體規格，倘若預算不足，也可考慮直接上雲。
黃俊達則表示，現在已經有混合AI的觀念，但實務上因為地端算力不高，就他觀察，「地端能算的就丟到地端算，地端不能算的你就只能丟到雲端，目前沒有其他解法。」
即便在雲端運算，只要任務不太複雜，使用者也感受不到太大延遲。以ChatGPT來說，每次問答大約會有數十個字，資料量大約是數百位元，傳送到伺服器後再回傳到使用端，也只是一瞬間的事情。「考慮網路傳輸、頻寬需求，這個切點就切得非常好，」黃俊達說道。
邊緣運算的未來與潛在問題？
展望邊緣運算發展，可以預期企業端應用會比消費者端應用更快普及。
消費者感受不到邊緣AI好處？
因為企業有更多隱私和無法連上網路的情境，需求本身就相對強勁；然而，消費者未必能感受到裝置端AI的好處。
簡立峰表示，若要說服消費者溢價購買AI PC、AI phone，就得提供相應回報，享受雲端運算上不具有的好處。他直言，雲端上的模型更有威力、能力也更加通用，以常見的對話任務來說，一般民眾沒有邊緣AI的需求。「行銷上會講比較個人化、資料有隱私，但是消費者真的在乎嗎？」
若真的深入檢視，可能只有車用等少數場景格外重視邊緣AI，在殺手級應用尚未出現的情況底下，消費者還不夠有感。
再以近期吸睛的生成式AI功能來說，生成圖像和影片相對亮眼。只是，一般規格的裝置在也跑不動影音，只有雲端才具備足夠算力。「什麼東西一定要在地端用你的晶片處理，而不是雲端？答案並不是太多。」
終端使用者裝置端突破：殺手級應用
當然，消費性電子產品並不是全無機會。
簡立峰研判，未來若業者找出吸睛AI應用，考慮到雲端上可能需要消耗大量算力，因此要部分運算遷移至地端，「希望邊緣端幫它省錢。」
因此，還是要期待AI手機和筆電的開發者找出合適用途，例如遊戲裡嵌入AI、相機裡的AI功能再升級，才有機會帶動消費者端的邊緣運算。
不管是企業端、消費者端，從雲端到邊緣，人工智慧正在滲透進各個場域。雖然距離邊緣運算成熟還要一段時間，但它已經離人們愈來愈近。
