文／陳冠廷分析師
聖誕節整個 AI 產業界的重磅消息，輝達結盟AI新創，策略性收購Groq 隊，首先有言論指出，LPU 靠 SRAM，大幅提高速度，HBM會被取代，這仍值得商確，HBM 並不會如此輕易就被取代。過去 AI 大家最看重的，是前端語言模型訓練這一塊的市場，而輝達就是訓練這塊的王者，GPU 是最適合拿來訓練 AI 的。
但當AI模型訓練完之後，部署到市場，跟使用者產生互動，每一個對 AI 下的指令，AI 產生的每一個圖檔，每一段文字，每一部影片，通通是推論。所以推論是難度不高，但重複性非常高，非常需要效率的一環。GPU 在推論是沒有優勢的。所以Google才會有自己的TPU，也是專門為推論而設計。輝達為了要鞏固推論這塊的市場，才會有收購Groq的行動。
LPU 在速度與容量間，極度放大追求速度，所以成功把推論這一塊，做了很強的優化。而推論是實現 AI 應用，使用者感受之中，非常重要的一環。像 Groq 的客戶里，就有 Canva 這家設計巨頭，所以推論變的更好用，應用端可以打的更廣，消費者會更愛用。想像一下，像 ChatGPT 和 Gemini，你輸入指令，它都會有延遲，但 LPU 可以讓延遲趨近於零，你下指令，AI 馬上給你答案，大家會不會更愛用。
但LPU追求速度過程中，仍需要外部記憶體，去協同運作。你不可能在AI世界裡，只追求極致的速度，終究更大的語言模型，更海量的運算，生成式AI更巨量的內容，通通都需要頻寬，都需要 HBM 和存儲。
所以可能的結果是，LPU 讓推論變更強，推論讓消費者，使用 AI 應用時感受更好，越多人願意使用AI應用，當越多人使用AI，不是只有LPU的SRAM，會成長而已。是DRAM、HBM、SSD，通通都會往上成長。這才是記憶體產業可能的走法，並不是 SRAM，會取代 HBM 如此簡單的跳躍。
而且推論在AI發展後期，會享受到更長周期的成長，因為一個語言模型訓練完，部署下去，全球千百萬的使用者，所有下的指令，都是推論。想像一下這成長空間有多大。而推論必然會吃到記憶體容量，所以不只是追求運算速度的 SRAM、HBM 會成長，存儲空間的 NAND FLASH、SSD、HDD 通通跟著成長。群聯就是 SSD 固態硬碟模組廠。華邦電則有 SRAM 產能。南亞科 有 DRAM 利基型市場。
※本公司所推薦分析之個別有價證券
※無不當之財務利益關係 以往之績效不保證未來獲利
※投資人應獨立判斷 審慎評估並自負投資風險