跳到正文
Hacker News · AI· gmays·· 6 小时前AI 评分57

Cerebras 详解如何在晶圆级芯片上部署万亿参数模型

Cerebras Deploys Trillion-Parameter AI Models

AI 导读

Cerebras 发文说明如何把万亿参数前沿模型拆分到多片 WSE-3T 晶圆上运行,并以约 3 万亿参数的开源模型 Kimi K3 为例,按 4-bit 权重和 8-bit KV cache 计算得出需要 59 片晶圆。

来源:Hacker News · AI · cerebras.ai

继续探索 AI