科技新知

一、前言

記憶體內運算（Computing-in-Memory, CIM）是一種將運算功能整合到記憶體中的新興技術。傳統的馮·諾依曼架構（von Neumann architecture）將運算和儲存分開處理，導致大量數據在處理器和記憶體間傳輸，造成晶片能源消耗增加、延遲上升等問題。記憶體內運算（CIM）技術的核心理念是在記憶體中內建計算能力，這種方法不僅減少了資料在處理器和記憶體之間的傳輸時間，還減少了相關的能量消耗和延遲。隨著人工智慧和機器學習應用對計算能力需求的增加，記憶體內運算（CIM）技術正成為解決計算瓶頸的重要途徑。

根據資料顯示，全球記憶體內運算市場規模在 2022 年達到 163 億美元，預計到 2028 年將達到 413 億美元，2022-2028 年的複合年成長率為 16.8%。記憶體內運算市場的增長主要受到以下幾個因素的推動：

1. 對資料即時分析的需求不斷增長：企業需要能夠快速分析大量資料以做出決策。記憶體內運算可以提供比傳統計算架構更快的分析速度。
2. 業務營運數位化：越來越多的企業正在採用數位化技術來提高效率。記憶體內運算可以幫助企業從其數位化轉型中獲得最大收益。
3. 人工智慧（AI）和機器學習（ML）的採用：AI 和 ML 應用程序需要大量資料和高性能計算。記憶體內運算可以滿足這些需求。

記憶體內運算是一項具有巨大潛力的新興技術。隨著技術的不斷發展和成本的下降，有望在未來幾年得到更廣泛的採用。

二、記憶體內運算技術之發展

記憶體內運算技術的實踐約可分為以下兩類：

1. 靜態記憶內運算（Static RAM Computing-in-Memory, SRAM-CIM），透過SRAM單元來進行運算，此法的優勢在於其速度快和能耗低。
2. 非揮發性記憶內運算（Non-volatile Memory Computing-in-Memory, NVM-CIM），是使用非揮發性記憶體單元來執行運算，這種方法具有保存數據的能力，但計算速度相對較慢。

近年來，記憶體內運算技術的研究發展蓬勃，相關論文發表數量逐年增加。根據IEEE網頁搜尋統計，近三年（2021-2024）發表於頂級學術期刊的記憶體內運算技術論文數量已超過一千篇。以下是2024年，關於記憶體內運算技術在頂級國際研討會International Solid-State Circuits Conference (ISSCC)國際論文整理，在最新的研究中，計算記憶體技術正受到廣泛關注，尤其是在不同的記憶體型態、運算型態和運算格式方面。在最近的一系列論文中，研究者們探索了各種技術以提高計算記憶體的效能和功能。
 

資料來源：本研究整理
 

在人工智慧應用越來越複雜的今天，如何提升系統精準度和運算效率成為了一個重要課題。以下是2024 ISSC研討會之記憶體內運算技術是目前的熱門研究方向：

高效能與低功耗的浮點數運算：傳統的浮點數運算雖然精度高，但耗能大，因此科學家們提出了POSIT資料格式來替代，這種格式在維持高精度的同時也能降低功耗。例如，有研究提出了三種新電路來解決POSIT格式在CIM中遇到的挑戰，使其在28奈米製程下達到83.23TFLOPS/W的能效。

雙模式運算的整數與浮點數記憶體內運算：先進的AI邊緣設備需要兼具高效能和高精度運算，因此科學家們設計了可切換整數和浮點數運算模式的記憶體內運算（CIM）。這種設計既保留了整數運算的高能效，也能在需要高精度時使用浮點數運算。研究中針對記憶體空間浪費和運算同步問題提出了解決方案，並實現了高達163.3TOPS/W的能效。

混合型記憶體內運算模式：混合型記憶體內運算結合了數位和類比運算的優點，可以在不同應用場景下靈活切換。然而，這種技術需要在精度、面積和功率消耗之間找到最佳平衡。針對數位和類比記憶體內運算各自的限制，研究人員提出了多種創新電路來提升整體性能。

全數位記憶體內運算之實踐：全數位CIM在製程縮小方面具有優勢，能在運算面積效率和能量效率方面超越傳統架構。研究中提出了五種關鍵電路設計，使得全數位記憶體內運算（CIM）3奈米製程下達到了32.5TOPS/W的能效。

高精度與低功耗的混合模式：面對多樣化的AI資料庫，特別是同時使用卷積神經網路（CNN）和Transformer的情況，傳統類比式卷積神經網路已經難以應對。研究人員提出了一種電路結構，可以同時支援高精度需求的Transformer和低精度適應能力強的卷積神經網路，實現了兼顧高CSNR和低CSNR的目標。

混合域浮點數運算：類比式記憶體內運算和數位式記憶體內運算各有優缺點，為了結合兩者的優勢，研究人員設計混合域記憶體內運算架構。在這種架構中，類比運算用於低位元乘法，而數位運算則處理高位元累加，提升整體性能和效率。

記憶體與運算單元整合：針對目前記憶體內運算在記憶體與運算單元比例優化、數位邏輯限制和eDRAM刷新機制等問題，研究人員提出基於eDRAM的數位記憶體內運算架構，從根本上提升了運算效率。

RRAM浮點數運算：利用RRAM元件構建的浮點數運算架構可以解決高輸入位元寬度導致的延遲和能耗問題。研究中提出三種電路設計來平衡推論精度和權重存儲，並實現31.2TFLOPS/W的能效。

邊緣設備的學習能力：針對邊緣人工智慧應用，傳統神經網絡的訓練方式因高計算精度和龐大數據量而受到限制。為此，研究人員提出Plastic-CIM架構，以解決邊緣設備的學習問題，提升了適應動態環境的能力。

上述研究反映了對於計算記憶體技術不同方面均受到持續關注，且在記憶體內運算技術在不同的應用場景中，不同型態、型態和格式的技術都可能發揮關鍵作用。對於高效能和高精準度的需求推動了浮點數運算的CIM研究。靜態隨機存取記憶體（SRAM）技術在計算記憶體中仍然占主導地位。記憶體內運算技術逐漸朝向全數位化的方向發展，以提高系統精準度和能源效率。從研究動機的角度出發，我們可以歸納出五個主要趨勢：

1. 精準度與效能的平衡：追求高精準度和低功耗的平衡是主要關注的問題。
2. 多模式運算：對不同運算模式的支援需求日益增加，如同時支援CNN和Transformer模式。
3. 數位和類比的結合：將數位和類比的優勢結合，以克服各自的限制。
4. 新型數據格式：對於新型浮點數格式的探索旨在解決傳統浮點數運算的缺陷。
5. 應對動態環境的學習：對於邊緣人工智慧應用的需求，記憶體內運算（CIM）需要具備更強大的自適應和學習機制。這些趨勢反映了對於更高效能、更靈活、更自適應的計算記憶體技術的迫切需求。

三、企業的研發進展

在這一領域，半導體公司領導企業如TSMC、三星電子、IBM等均已經開始在積極投入研究與技術開發。

TSMC作為全球領先的半導體製造公司，TSMC積極開展記憶體內運算（CIM）相關的製程技術研究，並與多家學術機構合作。例如，台灣積體電路公司已成功利用電阻式記憶體（ReRAM）製造記憶體內運算加速器，進一步提升了計算效率。

三星電子的磁阻式隨機存取記憶體（MRAM）也被應用於製造記憶體內運算晶片，為計算效率的提升貢獻了力量。此外，力晶集團的異質整合CIM技術平台，將其旗下公司的技術結合起來，提供高效率、低功耗的人工智慧運算解決方案，為這一領域的發展帶來新的可能性。

除了這些公司外，其他在CIM技術研究和開發方面也取得重要進展。在美國，IBM已深耕記憶體內運算多年並在2023年於Nature發表基於相變化型的64核心混合訊號記憶體內運算晶片，研究成果顯示該款晶片保留了深度學習演算法的準確性，還能夠縮短計算時間和運算過程所需的能源消耗。這些公司的努力和創新推動CIM技術的發展，為未來的計算應用帶來了更大的可能性。隨著技術的不斷進步和應用場景的擴展，我們可以期待在更廣泛的範疇內見到這一技術的應用。

四、結論

未來的記憶體內運算（Computing-in-Memory, CIM）技術在多個層面上將實現更多的創新和發展。在材料和元件方面，記憶體內運算技術將採用更先進的ReRAM、MRAM和FeFET等記憶體技術，進一步提高運算效率和能效。在積體電路和系統架構層面，記憶體內運算技術將與異質架構計算系統和3D技術結合，實現更高密度和性能的計算系統，以滿足不同應用場景的需求。此外，未來的記憶體內運算系統設計將更加注重軟硬體協同，開發專門的編程框架和算法，以充分發揮記憶體內運算技術的潛力。

臺灣政府持續推動記憶體內運算技術研發。經濟部透過法人科技專案，在工業技術研究院(工研院)持續深化記憶體內運算前瞻研究，先後於2022和2023年國際研討會上展示效能達到148.1 TOPs/W @ 4 bits超高準確度的時域記憶體內運算晶片和效能達到70.21 TOPs/W @ BF16支援浮點數混合型記憶體內運算晶片。經濟部的科技投資不僅僅專注於記憶體內運算（CIM）技術上進行前沿研究，在技術研發初期即思考技術產業應用，透過業界科技專案和促成法人與企業合作、與國內外企業合作方案等推動技術商品化，特別是記在半導體和人工智慧領域。此外，台積電（TSMC）和聯發科技（MediaTek）等大型企業也積極投入記憶體內運算技術的研發。

臺灣對記憶體內運算技術持續投入研發資源，並透過產官學研協同合作，積極促進該技術的進步和應用。這種做法不僅提高臺灣在國際半導體行業的地位，還促進了智慧城市、物聯網及人工智慧等領域技術的應用。另外，「5+2 產業創新計畫」的推動，如智慧機械、半導體和物聯網等記憶體內運算技術也扮演重要角色，被視為未來智慧製造和人工智慧的重要基礎，而相關的產業政策和計畫都有助於推動記憶體內運算技術在臺灣的發展。

(本文作者為工研院產科國際所執行產業技術基磐研究與知識服務計畫產業分析師)