Groq

AI晶片新創公司Groq，由前Google資深工程師Jonathan Ross創立，其開發的語言處理單元（LPU）針對大型語言模型如GPT和Llama設計，展現出令人印象深刻的性能，達到750 TOPS和188 TeraFLOPS，並擁有320x320融合點乘矩陣乘法與5,120個向量ALU，提供了超快的推理速度。Groq LPU在LLMPerf排行榜上超越了基於GPU的雲服務提供商如輝達，在推理大型語言模型方面以其卓越的token吞吐量和低延遲成為市場上的直接競爭者，並在各種測試中展示了低延遲性能，成功將其硬件部署於全球研究項目。