產業技術評析

一、物聯網加入人工智慧

近年來，業界逐漸在物聯網（Internet of Things, IoT）領域加入人工智慧（Artificial Intelligence, AI）的元素，物聯網整體系統的最前沿末稍為感測器（sensor），眾多感測器將現場感測資料（data，或稱數據）集中傳遞給閘道器（gateway）後，再由眾多閘道器集中傳遞給雲端（cloud）資料中心。

在資料中心除了運用收集到的資料和資訊來即時監控現場外，也期望能透過資料和資訊進行各種分析或預測，對此可運用人工智慧技術，即將累積的感測資料視為資料集（dataset），以此來訓練（training）、驗證（validation）人工智慧模型，訓練成的模型再對新進的感測資料進行推論（inference），即可達到分析、預測之效，此即人工智慧物聯網（AIoT），即IoT、AI兩詞複合而成。

二、雲端推論難因應所有應用情境

AIoT運用雲端集中的資料進行模型訓練，同時也在雲端對新上傳的資料進行推論分析、推論預測，然經過實務歷練後逐漸發現，某些應用情境上不適合在雲端進行推論，例如車聯網（Vehicle to X, V2X）相關應用需要即時取得推論結果，但感測資料上傳至雲端後進行推論，推論取得的結果再循相同路徑回送至前端，往返時間過長，等獲得結果資訊時，汽車已駛過該路段，資訊已過時無用。

傳輸延遲、時效性是雲端推論的一個不足點，其他不足點也逐漸顯露，例如雲端為一套集中系統，一旦系統失效、資料中心停電、駭客攻擊或網路中斷等，所有的閘道器、感測器將因為得不到雲端的支援而近乎停擺，也無法持續推論分析、推論預測。

再者，電腦駭客（hacker）一旦成功入侵雲端系統將可以取走所有資料，近年來已有太多中央系統遭駭客入侵的新聞，屢屢發生上百萬、上千萬筆資料洩漏的情事，此反映出系統集中、資料集中的風險。

進一步的，若所有資料都集中回傳至雲端，所有推論結果也都自雲端傳遞至各前端（閘道器、感測器），將產生巨大的往返傳輸量，在部分地區網路頻寬資源寶貴，經常以流量計費，如此將明顯增加IoT系統的營運成本。

因此，業界開始對AIoT進行技術修正，由於閘道器也具有若干運算、儲存能力，故將雲端訓練完成的模型複製至各閘道器內，由閘道器肩負起AI模型推論工作，而雲端仍保有AI模型訓練工作，畢竟訓練需要最多、最全面詳整的資料，重新設定分工，此即Edge AI，因為閘道器的運算一般也稱為邊緣運算（Edge Computing），由閘道器進行推論工作便稱為Edge AI。

Edge AI減少了對雲端的倚賴，雲端資料中心即便暫時失效，閘道器也可以肩負部分的雲端工作，使整體系統更穩定，同時資料也並非隨時集中傳遞至雲端，駭客若想取得完整資料，需要逐一攻破散落於各處的閘道器，其難度高過只入侵雲端的集中系統。另外資料不全然進出雲端的結果也使頻寬流量有所節制，以此達到節費效果。

簡言之，Edge AI具有邊緣運算的所有優點，即整體IoT系統更穩、資安防護更可靠、長期營運更節費等，同時也讓AI推論更即時有效，滿足諸多需要時效性的AIoT應用情境。

三、相同理念持續延伸成TinyML

為將推論工作下放至閘道器後，業界嘗試持續對AIoT、Edge AI進行精進，雖然感測器是IoT整體系統中運算力最弱、儲存空間最少的，既不如閘道器，更遠不如雲端。

但隨著半導體製程技術的持續進步，即便是在嬌小的感測器裝置內，也已有程度性的運算力與儲存空間；加上AI演算法的持續進步，運用各種模型瘦身手法後，也開始能在感測器內進行AI模型推論。換言之，原有的Edge AI分工理念再次擴展延伸，向前推展到感測器上。

由於感測器裝置為嬌小的硬體，在其上進行機器學習的AI模型推論，故被稱為TinyML，Tiny為微小之意，ML即為機器學習Machine Learning的縮寫，類似的詞語也包含TinyAI、Embedded ML、Embedded AI（嵌入式）等。
 

資料來源：紐約大學阿布達比分校電子與電腦工程系Muhammad Shafique教授，資策會MIC ITIS研究團隊整理（2023/11）。
 

四、Arm、Google力主推行TinyML

TinyML技術主張的率先提出與推行，即是行動運算領域的軟硬體巨頭：安謀（Arm）與谷歌（Google）。安謀針對TinyML提出Ethos系列的硬體加速電路，只要在Arm的Cortex-M系列微控制器（Microcontroller Unit, MCU）晶片核心內追加放入Ethos，就可以用極快的速度、極低的功耗完成AI推論運算。

除了推出加速硬體外Arm也配套提供TinyML所需的軟體開發工具，同時也提供CMSIS-NN（Cortex Microcontroller Software Interface Standard- Neural Network）的函式庫，開發者運用工具與函式庫可加速開發、訓練出TinyML模型。

而谷歌方面，谷歌力主的AI技術TensorFlow精進瘦身輕量化工程後成了TensorFlow Lite（陽春之意），可適用於電量有限的行動裝置中，而循此路線持續進行瘦身輕量，便衍生出TensorFlow Lite for Microcontrollers，簡稱TFLM，可適用於感測器裝置中。

五、TinyML誘發軟體、資訊服務領域新商機

雖然運用安謀、谷歌的軟體開發工具可開發、訓練出TinyML模型，但工具的使用者依然需要具有微控制器相關的電子電機工程背景知識才行，對於只熟悉資訊技術（Information Technology, IT）領域的開發者依然有難度，短時間內難以補強此方面的知識與開發經驗。

正因為有跨領域的困難與落差，已有軟體商洞察從落差中看到商機，開發出模型壓縮器軟體工具，過去已經訓練完成的AI模型透過該工具的壓縮進行瘦身，即能夠放入感測器裝置內進行推論，軟體商將此工具以軟體即服務（Software as a Service, SaaS）的型式提供服務，以此收取訂閱費，如SensiML、Edge Impulse等業者，即提供將現成模型壓縮成TinyML型態，同時提供全新開發TinyML模型的工具等。

類似的，也有軟體開發服務商承接改寫專案，使原本在雲端、閘道器上的模型可放入感測器內；或有顧問諮詢公司提供服務，依據企業自身的需求與痛點進行分析評估，例如期望IoT系統更穩定或更節費等，諮詢公司從技術與商業角度給予是否應當導入的建議，甚至進一步提供相關規劃建議等，如Solwey Consulting、itemis等業者，即提供營運成本計算、以資安防護為考量的重新配置建議等。

由此可知，TinyML的技術修正讓更多企業願意擁抱AIoT，但現行開發者又面臨領域差異性的難題，為加速TinyML的到來，業界紛紛提出各種軟體與服務方案，成為軟體與服務產業的新商機。
 

(本文作者為資策會MIC執行產業技術基磐研究與知識服務計畫產業分析師)