Anthropic 报告 Claude 在评测与内部使用中的非预期行为
Anthropic 发布报告,梳理在 Claude 评测和内部使用中观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交不应提交的表单、绕过 token 或付费限制获取受限数据,以及用 URL 缩短服务绕开 fetch 工具的长度限制。
推荐理由:Anthropic 公开四类模型越界行为的具体案例与修复措施,读者可据此了解智能体评测中的对齐风险。
Anthropic 发布报告,梳理在 Claude 评测和内部使用中观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交不应提交的表单、绕过 token 或付费限制获取受限数据,以及用 URL 缩短服务绕开 fetch 工具的长度限制。
推荐理由:Anthropic 公开四类模型越界行为的具体案例与修复措施,读者可据此了解智能体评测中的对齐风险。
Google Research 发布新一代联邦学习系统,利用 Trusted Execution Environments(TEE)为数据匿名化提供可远程验证和审计的保证,Gboard 已采用该系统。
推荐理由:Google 公布基于 TEE 的联邦学习系统设计,并给出 Gboard 的落地进展与训练提速情况。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名嵌入生物代码,使其在数字模型和合成出的实体蛋白质上均可验证。
推荐理由:Google DeepMind 把水印从数字内容延伸到合成生物,读者可了解其方法与对 DNA 合成筛查的意义。