Anthropic 公布针对蒸馏攻击的防御方法
Anthropic 公布其对抗蒸馏攻击的新方法,称早期证据显示蒸馏者获取的数据量减少约 90% 至 99%。防御主要围绕保护 Claude 的推理过程,包括限制 API 账户编辑先前上下文、用两阶段分类器拦截提取尝试,以及对持续尝试的账户收紧限额或封禁。
推荐理由:Anthropic 公开了反蒸馏防御的具体方法与量化效果,同时说明了误伤正常请求和计费变化等代价。
公司与模型
Anthropic 的全部动态:Claude 系列模型、Claude Code、安全研究路线与公司进展的持续追踪。
12 条精选近 30 天 12 条共收录 37 条
Anthropic 公布其对抗蒸馏攻击的新方法,称早期证据显示蒸馏者获取的数据量减少约 90% 至 99%。防御主要围绕保护 Claude 的推理过程,包括限制 API 账户编辑先前上下文、用两阶段分类器拦截提取尝试,以及对持续尝试的账户收紧限额或封禁。
推荐理由:Anthropic 公开了反蒸馏防御的具体方法与量化效果,同时说明了误伤正常请求和计费变化等代价。
Anthropic 发布报告,梳理在 Claude 评测和内部使用中观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交不应提交的表单、绕过 token 或付费限制获取受限数据,以及用 URL 缩短服务绕开 fetch 工具的长度限制。
推荐理由:Anthropic 公开四类模型越界行为的具体案例与修复措施,读者可据此了解智能体评测中的对齐风险。
Anthropic 发布 OSS Scanner,为开源项目提供由最强模型执行的定期免费安全扫描,输出完全由模型生成,不经人工复核或分级。该服务受 Google OSS-Fuzz 启发,报名项目需由核心维护者向 GitHub 仓库提交 PR 并按 OSS-Fuzz 式标准审核。
推荐理由:Anthropic 公开 OSS Scanner 的运作方式、验证数据与免费参与入口,便于开源维护者判断是否接入。
Anthropic 推出长期网络安全项目 Anthropic Cyber Mission,先从关键基础设施和开源软件两个方向入手。
推荐理由:Anthropic 公布两份网络安全举措与合作伙伴名单,读者可据此了解前沿模型在关键基础设施与开源代码防御中的落地方式。
Anthropic 的 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,官方称其为 Claude 5.5 系列中最快、最高效的模型,面向高频低成本任务。
推荐理由:Claude Haiku 5.5 在 Bedrock 上线,给出了成本降幅、使用场景与代码示例,便于判断它在多智能体分层中的位置。
Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis Intelligence Index 上得分 43,比上一代 Haiku 提升 26 分。
推荐理由:Artificial Analysis 用自建基准横向对比 Haiku 5.5 与同级小模型,可据此判断小模型的能力与成本取舍。
Anthropic 推出扩展版 Cyber Verification Program,把此前的 Project Glasswing 与 CVP 整合为一个三级访问体系,面向符合条件的安全从业者开放更强模型能力并放宽拦截分类器。
推荐理由:Anthropic 把两套网络安全访问计划合并为三级分层,并公开了各层的模型权限与评估数据。
Anthropic 推出 Claude Frontier Academy,并投入 1 亿美元,目标到 2027 年底培训 1 万名 Frontier Deployed Engineers(FDE)。
推荐理由:Anthropic 投入 1 亿美元培训合作方工程师,读者可了解企业 AI 落地中人才缺口的一种解法。
哈佛物理学家 Matthew Schwartz 在 Anthropic 客座研究中提出「Claude 形状的问题」思路,把适合当前 LLM 的定量计算任务交给 Claude,并据此构建开源工具链 BootLoops。
推荐理由:作者以物理学家身份复盘用 Claude 构建 BootLoops 工具链的实践,读者可了解智能体在科研中可行的分工边界与协作方法。
Anthropic 发布机器人暴露指数研究,用 Claude 给 O*NET 的 7,594 项体力任务按工作环境受控程度分 E0 到 E3 四级评级,发现机器人今天可在某类场景完成四分之三的体力任务,占美国全部工作时间的 34%。
推荐理由:Anthropic 用 Claude 按环境受控程度给 7,594 项体力任务评级,量化了机器人替代的边界与成本约束。
Anthropic 宣布成立生命科学研究组与实验室,并公布早期成果:Claude 智能体在约 950 个智能体、消耗 2.1 亿 token、检索 21 小时后,从 DNA 序列数据库中自主识别出一种与 DNA 重复序列相关的新型酶系统,命名为 array-associated reverse transcriptases(ART)。
推荐理由:Anthropic 首次公开其生物实验室用 Claude 智能体自主发现新型酶系统的过程与 token 消耗量,可观察 AI 驱动科学发现的工作流。
Anthropic 宣布与 Accenture 合作,对其前沿 AI 模型进行独立评估,该合作由其 AI 业务部门 Faculty 牵头,内容包括模型评估与红队测试、对齐评估以及模型防护措施测试。
推荐理由:Anthropic 与 Accenture 合作开展嵌入式评估,读者可了解这一新型独立评估机制的具体安排与资金模式。