Hacker News · AI· gmays·· 6 小时前AI 评分57
Cerebras 详解如何在晶圆级芯片上部署万亿参数模型
Cerebras Deploys Trillion-Parameter AI Models
AI 导读
Cerebras 发文说明如何把万亿参数前沿模型拆分到多片 WSE-3T 晶圆上运行,并以约 3 万亿参数的开源模型 Kimi K3 为例,按 4-bit 权重和 8-bit KV cache 计算得出需要 59 片晶圆。
来源:Hacker News · AI · cerebras.ai