目前位置: 首頁 > 最新消息
:::

最新消息

探索邊緣小語言模型(SLM)應用與前景 [趨勢新知]
種類:其他公告  發布單位:產業技術司  發布日期:2024-05-01 17:00
作者:葉逸萱/工研院

一、前言

2023年生成式AI相關應用如雨後春筍般湧現,開啟了人工智慧的新篇章,為產業和民眾帶來前所未有的創造力和智慧。也因為物聯網和智慧裝置的普及,將運算能力推向邊緣的趨勢日益明顯,邊緣小語言模型(Small Language Models, SLM)也逐漸受到重視。

二、全球小語言模型市場規模與發展趨勢

(一)全球小語言模型的市場規模

SLM和LLM之間的差異不僅在於規模和能力,更在於其應用場景和效能的表現。LLM擁有龐大的參數量和廣泛的資料學習能力,能處理更複雜的語言結構並產生更準確的預測。然而,SLM雖然在規模上較小,但卻具有執行速度更快、占用更少記憶體和運算資源等優點。在實際應用中,根據不同的任務需求和資源限制,選擇適合的語言模型將對AI應用的效能與成本起到關鍵作用,必須充分考慮其規模與性能的平衡,以實現最佳的應用效果。因此,SLM和LLM的主要區別,有(1)規模和範圍;(2)訓練時間與運算資源;(3)領域專業知識以及(4)多功能性。

(二)主要投入業者

盤點SLM市場主要投入的國際業者有:

(1) Meta
(2)Stability AI
(3)Google
(4)Microsoft
(5)Salesforce
(6)阿里巴巴
(7)Mosaic ML
(8)Technology Innovation Institute (TII) from the UAE
(9)Hugging Face

三、SLM的行動裝置應用案例

從上述的SLM模型彙整,目前SLM模型參數約在7B左右,需要至少14G以上的記憶體,非一般消費型顯示卡能跑得動,因此目前有許多方法在研究如何減少其資源使用、或是從晶片端著手提升運算性能。例如,Apple M3、Intel Core Ultra、AMD Ryzen 8084系列都是為了加速AI應用而設計,以提前布局AI PC市場。

四、結論

SLM可以縮短訓練和推理時間,大幅降低延遲,所以非常適合用在資源有限的環境,例如邊緣裝置或是資源有限的中小型企業。國際大廠也因此嗅到商機,積極落實在AI Phone、AI PC、機器人與虛擬人平台服務,創造多元、智慧化且簡便的服務體驗。雲端服務大廠AWS、Azure、Google Cloud也透過託管API方式,提供企業各領域應用的小型語言模型服務。也因此,不論是從雲端或是到終端,生成式AI正逐漸改變使用者與服務的互動方式。


點閱數42
更新日期:2020-04-28

回上一頁 回首頁