SRAM vs HBM

  SRAM 像你桌上的筆記本，隨手就能翻開，速度最快但頁數極少。

• HBM 像你辦公室裡的書櫃，存書很多且伸手就能拿到（比去圖書館快得多），但還是要起身走過去。

HBM（高頻寬記憶體）與 SRAM（靜態隨機存取記憶體）都是電腦架構中的關鍵儲存技術，但它們在效能、位置、成本和用途上有本質的區別。

簡單來說，SRAM 是「極速但極貴」的貼身助手，而 HBM 是「高速且大量」的大型倉庫。

1. 核心區別對比表

2. SRAM：晶片內的「閃電」

SRAM 不需要像 DRAM 那樣定期「刷新」資料，只要有電就能維持。它的結構複雜（一個位元需要 6 個電晶體），所以佔用的晶片面積非常大。

• 優點： 速度最快，延遲幾乎可以忽略不計。

• 缺點： 密度低、成本極高。如果在一個晶片上塞入 GB 級別的 SRAM，晶片會大到無法製造且昂貴得驚人。

• 典型應用： NVIDIA H100 GPU 內部的快取，或是 Groq LPU（專為 AI 推理設計的晶片，完全使用 SRAM 來追求極致速度）。

3. HBM：封裝內的「水庫」

HBM 其實是將多層 DRAM 晶片像「蓋大樓」一樣垂直堆疊起來，並透過 TSV（矽穿孔）技術連接。它雖然本質還是 DRAM，但透過大幅增加通道數量，實現了驚人的數據傳輸速度。

• 優點： 在極小的空間內提供巨大的容量與頻寬，突破了傳統記憶體（如 DDR5）的效能瓶頸。

• 缺點： 製造與封裝製程（如 TSMC 的 CoWoS）非常複雜，成本遠高於一般記憶體。

• 典型應用： AI 伺服器的核心，如 NVIDIA A100/H100、AMD MI300X，用來存放巨大的 AI 模型參數（如 LLM 大模型）。

4. 為什麼 AI 晶片兩者都需要？

在 AI 運算（如 ChatGPT 的推理）中，這兩者分工明確：

1. HBM 負責「裝貨」： 把幾十 GB 的 AI 模型權重全部載入到 HBM 中。

2. SRAM 負責「搬運與計算」： 當運算單元需要處理某個片段時，資料會從 HBM 快速抓取到內部的 SRAM 快取中，進行極速運算後，再把結果傳回 HBM。

總結

• SRAM 像你桌上的筆記本，隨手就能翻開，速度最快但頁數極少。

• HBM 像你辦公室裡的書櫃，存書很多且伸手就能拿到（比去圖書館快得多），但還是要起身走過去。