瞭解更多

解鎖新驚喜 解鎖新驚喜 熱烈迴響再加碼!該如何把握最後機會解鎖全年度最深度的智慧?

AI下一戰!從Token Economics走向Edge AI

劉峻誠
user

劉峻誠

2026-08-26

瀏覽數

AI競爭正從模型規模轉向推論效率。Unsplash by Numan Ali
AI競爭正從模型規模轉向推論效率。Unsplash by Numan Ali
00:00
00:00

編按:AI競爭正從模型規模轉向推論效率,企業開始精算Token成本,並透過Cloud與Edge協同部署,讓NPU推動低功耗、低延遲的AI運算,走入汽車、工廠與智慧裝置,開啟更高效的AI普及時代。

過去三年,全球AI產業幾乎都圍繞著同一個問題:誰擁有最大的模型?誰建造了最多的GPU叢集?誰投入了最多的資本興建超大型資料中心?

從參數規模、訓練算力到基礎建設,AI似乎一直是一場「愈大愈好」的競賽。

然而,如果仔細觀察近半年全球AI市場的變化,會發現真正改變產業方向的,不再只是模型能力,而是一個更務實的問題:誰能用最低的成本,完成最多的AI推論(Inference)?

這個問題,看似只是成本控制,卻可能決定下一個十年的AI產業格局。

延伸閱讀:AI下一個10年!從GPU算力走向NPU普惠

AI開始回歸商業本質

生成式AI剛問世時,人們驚豔於大型模型帶來的創造力與推理能力。市場追逐的是模型排行榜,是誰又突破了新的Benchmark,是誰又推出了更大的參數規模。

但真正進入企業後,管理者看到的卻是另一張報表。那不是模型分數,而是每個月愈來愈高的AI帳單。

當數萬名員工每天利用AI撰寫Email、整理文件、查詢知識、製作簡報、客服回覆,甚至只是完成例行性的行政工作時,每一次Token的消耗,都直接反映在企業營運成本上。

AI第一次從技術議題,變成財務議題。企業開始發現,真正昂貴的,不是導入AI,而是每天持續發生的推論成本(Inference Cost)。

於是,一個新的產業趨勢開始形成。企業不再問:「哪一個模型最厲害?」而是開始問:「哪一個模型最適合我的成本?」

Token Economics正在改變AI市場

近幾個月,各種AI平台公布的模型使用數據,都透露出相同的訊號。

真正快速成長的,不一定是能力最強、價格最高的封閉式模型,而是大量成本更低、部署更容易、開源程度更高的模型。這代表AI產業開始從「Model Competition」(模型競賽),逐漸走向「Token Economics」(Token經濟學)。

企業開始精算每一個Token的成本,就像過去管理雲端資源、網路頻寬或電力成本一樣。因為企業真正追求的,不是最昂貴的智慧,而是投資報酬率最高的智慧(ROI of Intelligence)。

我們可以把AI工作大致分成兩類。

第一類,是策略規劃、複雜推理、研發創新、多步驟分析等高價值任務,這些工作仍需要最先進的大型模型。第二類,則是大量重複性的日常工作,例如,文件整理、客服回覆、設備巡檢、影像辨識、流程自動化、行政作業與知識搜尋。

這些工作占了企業AI使用的大部分比例,卻未必需要最昂貴的模型。

沒有企業會租用一整座超級電腦,只是為了製作Excel報表。同樣地,也沒有企業希望每封Email、每一次客服問答,都使用最高成本的AI推論。因此,愈來愈多企業開始建立分級AI(Tiered AI)架構。

複雜任務交給大型模型;標準化工作交給更高效率、更低成本的模型。

AI開始像企業ERP一樣,被精細地配置,而不是一把尺走天下。

AI真正的競爭,從模型走向推論

這代表AI競爭的重心正在改變。

第一階段,比的是誰能訓練出最大的模型。

第二階段,比的是誰能讓每一次推論更便宜。

未來真正重要的指標,不只是模型能力,而是:每一個Token的成本(Cost per Token)、每瓦電力可完成多少推論(Inference per Watt)、每美元算力能創造多少商業價值(Business Value per Dollar)。換句話說,AI開始進入真正的經濟學時代。

Cloud AI不會消失,但Edge AI將快速崛起

很多人因此誤以為,大型資料中心的重要性將下降。事實正好相反。大型資料中心仍將持續扮演不可取代的角色。它們負責訓練世界級模型、提供高階推理能力、管理全球知識,以及支撐整個AI生態系。

真正改變的是AI的部署方式。未來AI將採用「Cloud + Edge」的混合架構。雲端負責創造智慧(Create Intelligence)。邊緣裝置負責使用智慧(Consume Intelligence)。

就像今天沒有人會把手機上的每一次運算,都送回資料中心一樣,未來數十億台AI裝置,也不可能每一次辨識、每一次決策,都依賴雲端完成。

想用最少的時間拉開差距,究竟什麼樣的深度閱讀能讓你領先一年?

因為即時性、能源效率、網路頻寬、資料隱私,以及系統韌性,都要求AI必須更接近資料產生的地方。我們將看到AI從Cloud Native,逐漸演變為Cloud-to-Edge Native。

NPU將重新定義AI推論

這也是為什麼,我認為未來十年最重要的AI晶片,不只是GPU。GPU改變了AI模型的訓練方式。NPU(Neural Processing Unit)則將改變AI推論的方式。

兩者並不是競爭關係,而是AI生態系中不同的角色。GPU負責高效能運算,推動模型突破。NPU則專注於低功耗、低延遲、高效率推論,讓AI真正能部署到汽車、機器人、工廠、自主無人機、智慧攝影機、醫療設備以及各種終端裝置。

未來世界,不會只有幾百座超大型資料中心。真正改變世界的,是數十億台具有AI能力的智慧裝置。如果AI只能存在於雲端,它永遠無法真正走進人們的生活。只有當AI能夠在裝置端即時運算、即時決策、即時學習,它才真正成為基礎設施,而不是一項雲端服務。

下一場AI革命,比的是效率

AI的第一個十年,比的是誰能打造最大的模型。

AI的第二個十年,比的是誰能把智慧以最低成本、最高效率部署到全世界。

真正決定產業勝負的,不再只是模型參數,而是整體運算架構;不只是GPU的數量,而是整個Cloud-to-Edge生態系的協同效率;不只是資料中心的規模,而是每一瓦能源、每一個Token、每一次推論所創造的價值。

從大型模型,到開源模型;從集中式運算,到邊緣智慧;從追求極限性能,到追求最佳成本效益,AI產業正從一場技術競賽,邁向一場關於效率、商業化與普及化的革命。

下一個十年的贏家,不一定是擁有最大模型的人,而是能夠讓全球數十億台裝置,以最低的成本、安全可靠地使用AI的人。

而當AI真正像電力、網路一樣成為無所不在的基礎設施時,Edge AI與NPU,也將不再只是半導體的新名詞,而是推動下一波全球數位經濟成長的核心引擎。

專欄意見不代表《遠見》立場

作者為耐能智慧(Kneron)創辦人暨執行長

72% 領先者已開啟【職場雷達】 立即開通!解鎖專屬服務 立即開啟
AI治理有方 新北市打造智慧城市資安新典範
數位專題

AI治理有方 新北市打造智慧城市資安新典範

洞察趨勢的新北市政府,以超前部署、積極布局的策略,致力打造宜居、創新的智慧城市,聚焦「基礎建設」、「關鍵技術」、「智慧應用」三大面向,新北市已同步展現具體成果,體現地方政府的前瞻思維與執行力。

請往下繼續閱讀

登入網站會員

享受更多個人化的會員服務