我们高估了 AI 拒绝有害请求的能力
MIT Technology Review 刊文指出,AI 的拒绝机制正成为安全布局的承重墙,却因概率性而难以可靠。OpenAI 曾招募数十名红队成员用数千条查询测试 ChatGPT,结果部分有害请求仍被拒绝、部分则未被拦下。文章警告,拒绝失效可能造成灾难性后果,而拒绝范围过宽则可能被用来压制合法言论。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为安全布局的承重墙,却因概率性而难以可靠。OpenAI 曾招募数十名红队成员用数千条查询测试 ChatGPT,结果部分有害请求仍被拒绝、部分则未被拦下。文章警告,拒绝失效可能造成灾难性后果,而拒绝范围过宽则可能被用来压制合法言论。
Periodic Labs 联合创始人 Liam Fedus 与 Ekin Dogus Cubuk 在播客中提出“合成超级智能”,主张 AI 科学发现不能只靠更多互联网数据训练,而要让模型在真实物理实验中学习。他们介绍了以强化学习结合物理实验、AI 材料表征、DFT 与高通量实验室构建材料发现闭环的思路,并称自动化实验有望把数十年的试错压缩到几个月。
MIT Technology Review 与 Aventine 合作的文章指出,尽管马斯克称 Tesla Optimus 未来能以 2 万美元单价自动化几乎所有人类劳动、并预测 2027 年底前向公众发售,但许多机器人研究者对此持怀疑态度。
伯克利 EPIC Data Lab 提出近零推理成本下的三大数据系统挑战:为智能体设计(For Agents)、运行智能体(Of Agents)、由智能体构建(By Agents)。
Berkeley AI Research 发布综述,分析并行推理尤其自适应并行推理的进展,探讨让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。现有方法多从模型外部固定并行结构,难以按问题难度调整并行度。