AI 伺服器使用的加速晶片，激起 HBM 需求大幅提升

2023 年竄起的 AI 伺服器中所使用的加速晶片，以輝達 (NVDA) Server GPU 市占率最高。然而，一台 AI 伺服器建議配置的 H100 / H800 約要 8 張卡，每張要價 20,000~25,000 美元，整體要價不斐。

在此高價之下，雖然各家雲端服務業者 ( Cloud Service Platform，CSP ) 仍會向輝達或超微 (AMD) 採購 Server GPU，但也同步進行自研 AI 加速晶片的計畫。其中，除了已行之有年的 Google (GOOG) TPU 與亞馬遜 (AMZN) 的 AWS Trainium、Inferentia 之外，Google 與 AWS 正著手研發次世代自研 AI 加速晶片，這些都將採用記憶體原廠正積極擴產及研發的高頻寬記憶體 ( High Bandwidth Memory，HBM ) 。

HBM 市場分析面面觀，預估 2024 年 HBM3 將成為 AI 伺服器主流

在切入 HBM 之前，可先了解目前最被廣泛應用的 DRAM ( 動態隨機存取記憶體 ) 。DRAM 的應用其實不必多說，就是用於儲存、讀寫資料的記憶體，舉凡電腦、筆電、手機、伺服器等電子產品都一定有他的身影。

DRAM 的演進過程從一開始的 SDRAM ( 同步動態隨機存取記憶體 )，到三星 1996 年推出的 DDR ( 雙倍資料傳輸率 ) ，此款 DRAM 資料傳輸速率已經是 SDRAM 的兩倍了，目前最新已經出到 DDR5，不管是頻寬、功耗及容量都已經不可同日而語。

不過，儘管 DDR5 的頻寬已大幅提升，但相較於主打高頻寬的 HBM 根本是小巫見大巫，傳輸速率完全是不同等級，速率相差十倍有餘。因此在 AI 大數據高速運算的需求下，HBM 相較 DDR5 更適合擔此大任。

有了以上背景知識，再來觀察 HBM 目前市場發展，可以從以下幾點分析：

規格演進與各產品需求比重變化
- HBM2 的傳輸速率為每個針腳 ( pin ) 3.2Gbps，然而到 HBM3 每針腳的傳輸速率提升到 5.6~6.4Gbps，HBM3e 更是來到每針腳 8Gbps。
- 目前輝達 A100 / A800、AMD MI200 以及多家 CSP 供應商自研加速晶片多以 HBM2e 規格設計，但需求已逐漸從 HBM2e 轉往 HBM3，前者需求佔比從 2022 年 70% 預估將下滑至 50% ( 如下圖 )；後者則預估從 2022 年的 8% 大幅提升至 39%。未來在 HBM3 加速放量下，2024 年需求比重將進一步提升到 60%，成為 2024 年市場主流。
- 根據 TrendForce 資料顯示，HBM3e 將由 24Gb mono die ( 單一封裝內只有一個晶片，性能及品質較高 ) 堆疊，在 8 層的基礎下，單顆 HBM3e 容量將一口氣提升至 24GB，此將導入在 2025 年 NVIDIA 推出的 GB100 上，故三大原廠包括 SK 海力士、三星及美光 (MU) 預計要在 2024 年第 1 季推出 HBM3e 樣品，以期在下半年進入量產。

價格與營收規模預估
- 由於 HBM 為高毛利產品，其 ASP 皆遠高於其他類型的 DRAM 產品，原廠期望用小幅讓價策略，拉抬客戶端的位元需求量，故預期 2023 年 HBM2 及 HBM2e 的價格將略為下跌。
- 展望 2024年，各原廠的價格方向尚未定案，然基於整體 HBM 供應情形將大幅改善，且各原廠積極擴大市占率的情況下，預期原廠有機會在有限範圍內，進一步降低 HBM2 與 HBM2e 產品單價；主流產品 HBM3 價格預估將持平 2023 年。
- 由於 HBM3 的 ASP 遠高於 HBM2e 與 HBM2，且在 AI 伺服器需求帶動下，可望挹注原廠 HBM 領域營收，進一步帶動 2024 年整體 HBM 營收年增 127% 至 89 億美元。
供需比 ( Sufficiency Ratio ) 分析
- 根據 TrendForce 數據顯示，2022 年 HBM 大致處於供需平衡的狀態；2023 年受到 AI 需求爆發帶動而供不應求，供需比為 -2.4%；2024 年在原廠擴產下，供需比回到 0.6%。

【產業動態】AI 引領 HBM 需求火熱，三大原廠積極擴產及開發新品以搶佔商機！