最新消息

作者:葉逸萱/工研院

一、前言

2023年生成式AI相關應用如雨後春筍般湧現，開啟了人工智慧的新篇章，為產業和民眾帶來前所未有的創造力和智慧。也因為物聯網和智慧裝置的普及，將運算能力推向邊緣的趨勢日益明顯，邊緣小語言模型(Small Language Models, SLM)也逐漸受到重視。

二、全球小語言模型市場規模與發展趨勢

(一)全球小語言模型的市場規模

SLM和LLM之間的差異不僅在於規模和能力，更在於其應用場景和效能的表現。LLM擁有龐大的參數量和廣泛的資料學習能力，能處理更複雜的語言結構並產生更準確的預測。然而，SLM雖然在規模上較小，但卻具有執行速度更快、占用更少記憶體和運算資源等優點。在實際應用中，根據不同的任務需求和資源限制，選擇適合的語言模型將對AI應用的效能與成本起到關鍵作用，必須充分考慮其規模與性能的平衡，以實現最佳的應用效果。因此，SLM和LLM的主要區別，有(1)規模和範圍；(2)訓練時間與運算資源；(3)領域專業知識以及(4)多功能性。

(二)主要投入業者

盤點SLM市場主要投入的國際業者有：

(1) Meta
(2)Stability AI
(3)Google
(4)Microsoft
(5)Salesforce
(6)阿里巴巴
(7)Mosaic ML
(8)Technology Innovation Institute (TII) from the UAE
(9)Hugging Face

三、SLM的行動裝置應用案例

從上述的SLM模型彙整，目前SLM模型參數約在7B左右，需要至少14G以上的記憶體，非一般消費型顯示卡能跑得動，因此目前有許多方法在研究如何減少其資源使用、或是從晶片端著手提升運算性能。例如，Apple M3、Intel Core Ultra、AMD Ryzen 8084系列都是為了加速AI應用而設計，以提前布局AI PC市場。

四、結論

SLM可以縮短訓練和推理時間，大幅降低延遲，所以非常適合用在資源有限的環境，例如邊緣裝置或是資源有限的中小型企業。國際大廠也因此嗅到商機，積極落實在AI Phone、AI PC、機器人與虛擬人平台服務，創造多元、智慧化且簡便的服務體驗。雲端服務大廠AWS、Azure、Google Cloud也透過託管API方式，提供企業各領域應用的小型語言模型服務。也因此，不論是從雲端或是到終端，生成式AI正逐漸改變使用者與服務的互動方式。