比 Nvidia 快 10 倍：Groq 提供了一种革命性的新方法来构建 AI 硬件

前所未有的计算速度将所有竞争对手远远抛在了后面。

Groq正在开发专门的人工智能硬件，旨在使 AI 响应生成速度比人类平均打字速度快 75 倍。这对于在与聊天机器人通信或撰写电子邮件时获取即时信息尤其重要。

Groq 专注于为人工智能、机器学习和高性能计算应用创建高性能处理器和软件解决方案。人工智能爱好者已经 欣赏到 该公司专有平台前所未有的速度，并严肃地将其称为ChatGPT杀手。

尽管 Groq 不提供自己的语言模型，但它可以通过使用高度优化的专有硬件来显 着加速现有的LLM 。专家们已经注意到其创新的芯片设计、高可扩展性和能源效率。

Groq 的与众不同之处在于它使用了专门设计的硬件，称为线性处理单元 (LPU)，专门为处理大型语言模型而设计，而不是传统上使用的图形处理单元 ( GPU )，后者主要针对并行图形处理进行了优化。

得益于其独特的架构，Groq 的 LPU 解决方案的处理速度比基于 GPU 的解决方案快 10 倍，非常适合处理序列数据，包括 DNA、音乐、代码，当然还有自然语言。

Groq 表示，其客户已经在使用该公司专有的 LPU 和 API 来高速运行语言模型。该公司提供免费的系统测试，无需安装额外的软件，支持 Meta 的 Llama 2、Mixtral-8x7b 和 Mistral 7B 等型号。

Groq 的 Tom Ellis 证实 ，其自己的语言模型的工作也在进行中，但目前该公司正专注于开发其开源和定制硬件产品。