邊緣 AI 為何不能只比 TOPS?記憶體頻寬與功耗同樣關鍵
邊緣 AI 裝置的 TOPS 只代表理論運算能力之一;模型能否即時在相機、工業設備或 IoT 本機執行,還取決於邊緣 AI 記憶體的頻寬、容量、資料搬移效率與整體功耗。

數位行銷顧問與天使投資人。十年行銷實戰經驗,服務過逾百家企業,擅長 SEO 策略與成長駭客思維。同時關注投資趨勢,在多家新創擔任顧問投資人。
工作經歷:數位行銷顧問,曾任 Shopee 台灣行銷總監,現為獨立顧問及天使投資人,10 年資歷
學歷:國立台灣大學工商管理學系 MBA
代表成就
157 篇文章
邊緣 AI 裝置的 TOPS 只代表理論運算能力之一;模型能否即時在相機、工業設備或 IoT 本機執行,還取決於邊緣 AI 記憶體的頻寬、容量、資料搬移效率與整體功耗。
AI 伺服器的耗電不只來自 GPU。依 Micron 官方文章,在特定 AI 叢集配置與工作負載下,涵蓋 HBM、DRAM、SSD 與互連的記憶體子系統,最高可占總系統功耗 50%;但這是條件式公司估算,不能套用到所有機房與模型。