Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互
Berkeley AI Research 提出 ABBEL 框架,将摘要隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在协作编码基准 CollabBench 上,ABBEL-rec-BG 将全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也低于全上下文。
Berkeley AI Research 提出 ABBEL 框架,将摘要隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在协作编码基准 CollabBench 上,ABBEL-rec-BG 将全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也低于全上下文。
伯克利 EPIC Data Lab 提出近零推理成本下的三大数据系统挑战:为智能体设计(For Agents)、运行智能体(Of Agents)、由智能体构建(By Agents)。
Berkeley AI Research 发布综述,分析并行推理尤其自适应并行推理的进展,探讨让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。现有方法多从模型外部固定并行结构,难以按问题难度调整并行度。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的「状态输入」梯度,使世界模型的长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在特征、数据和模型组件归因中识别 LLM 的关键交互,可扩展到比此前方法大几个数量级的规模。