跳到正文
Hugging Face Blog·· 15 小时前AI 评分58

PyTorch 2.15 为 MPS 带来 FP8 与更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

Hugging Face 的 PyTorch 团队发布 PyTorch 2.15,为 MPS 后端加入 FP8 张量与 F.scaled_mm,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。

来源:Hugging Face Blog · huggingface.co

继续探索 AI