2024 年 5 月 21 日

英偉達

AI晶片新創公司Groq,由前Google資深工程師Jonathan Ross創立,其開發的語言處理單元(LPU)針對大型語言模型如GPT和Llama設計,展現出令人印象深刻的性能,達到750 TOPS和188 TeraFLOPS,並擁有320x320融合點乘矩陣乘法與5,120個向量ALU,提供了超快的推理速度。Groq LPU在LLMPerf排行榜上超越了基於GPU的雲服務提供商如輝達,在推理大型語言模型方面以其卓越的token吞吐量和低延遲成為市場上的直接競爭者,並在各種測試中展示了低延遲性能,成功將其硬件部署於全球研究項目。