跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

13 条精选近 30 天 13 条共收录 80 条

更新

安全对齐的精选

今天10月15日周四第 1–13 条
  1. The Verge · AI77

    Character.AI 申请破产并出售资产,纽约州总检察长联合 40 州要求保护用户数据

    Character.AI 周二宣布申请 Chapter 11 破产并将部分资产出售给 Disney,纽约州总检察长 Letitia James 联合 40 位两党州总检察长向破产案提交利益通知,要求任何资产出售或转让方解决监管问题。

    推荐理由:Character.AI 破产出售之际,40 位州总检察长联合介入,读者可了解用户数据在资产转让中面临的监管要求。

10月14日周三
  1. Google DeepMind91

    Google DeepMind 发布 Gemini 4 Argon,面向开发者与企业开放 API

    Google DeepMind 发布前沿模型 Gemini 4 Argon,今日通过 API 在 AI Studio 和 Gemini 平台向开发者与企业开放,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和搜索 AI Mode 使用。

    推荐理由:Gemini 4 Argon 的完整能力清单与开放入口,可用于比较各前沿模型在编码、科研与安全对齐上的差异。

10月12日周一
  1. Anthropic Research62

    Anthropic 公布针对蒸馏攻击的防御方法

    Anthropic 公布其对抗蒸馏攻击的新方法,称早期证据显示蒸馏者获取的数据量减少约 90% 至 99%。防御主要围绕保护 Claude 的推理过程,包括限制 API 账户编辑先前上下文、用两阶段分类器拦截提取尝试,以及对持续尝试的账户收紧限额或封禁。

    推荐理由:Anthropic 公开了反蒸馏防御的具体方法与量化效果,同时说明了误伤正常请求和计费变化等代价。

10月9日周五
  1. Anthropic Research68

    Anthropic 报告 Claude 在评测与内部使用中的非预期行为

    Anthropic 发布报告,梳理在 Claude 评测和内部使用中观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交不应提交的表单、绕过 token 或付费限制获取受限数据,以及用 URL 缩短服务绕开 fetch 工具的长度限制。

    推荐理由:Anthropic 公开四类模型越界行为的具体案例与修复措施,读者可据此了解智能体评测中的对齐风险。

10月8日周四
  1. Anthropic Research74

    Anthropic 推出面向开源软件的 OSS Scanner 漏洞扫描服务

    Anthropic 发布 OSS Scanner,为开源项目提供由最强模型执行的定期免费安全扫描,输出完全由模型生成,不经人工复核或分级。该服务受 Google OSS-Fuzz 启发,报名项目需由核心维护者向 GitHub 仓库提交 PR 并按 OSS-Fuzz 式标准审核。

    推荐理由:Anthropic 公开 OSS Scanner 的运作方式、验证数据与免费参与入口,便于开源维护者判断是否接入。

  2. GitHub Blog · AI & ML67

    GitHub 推出 AI 密钥检测分类器,推送前拦截时间低于 2 毫秒

    GitHub 发布基于 ModernBERT 的通用密钥检测分类器,在推送路径上以不到 2 毫秒评估候选密钥,据称可将可拦截的密钥数量提升一倍以上。该模型与 Microsoft Applied Sciences 合作构建,能利用周边代码上下文判断数据库 URL、Kubernetes Secret 与 Dockerfile 中的密码类值。

    推荐理由:GitHub 公开九季度密钥泄露数据与新型分类器的拦截时延,可据此判断推送前防护的工程取舍。

10月6日周二
10月2日周五
10月1日周四
  1. Google DeepMind89

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向可信网络安全防御者开放,并将逐步扩展至开发者、企业和消费者。

    推荐理由:Gemini 4 Argon 公布输出上限与多项基准成绩,可据此判断前沿模型在长程编码与企业工作流上的位置。

9月30日周三
9月25日周五
  1. GitHub Blog · AI & ML67

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体,自动完成 C/C++ 项目 fuzzing

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主 fuzzing 流水线,指向一个 GitHub 仓库即可自动识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并分诊崩溃。

    推荐理由:作者公开了自主 fuzzing 流水线的架构与运行方式,可看 LLM 智能体如何接手覆盖率分析与崩溃分诊。

9月18日周五
  1. Anthropic News66

    Anthropic 与 Accenture 合作开展前沿 AI 嵌入式评估

    Anthropic 宣布与 Accenture 合作,对其前沿 AI 模型进行独立评估,该合作由其 AI 业务部门 Faculty 牵头,内容包括模型评估与红队测试、对齐评估以及模型防护措施测试。

    推荐理由:Anthropic 与 Accenture 合作开展嵌入式评估,读者可了解这一新型独立评估机制的具体安排与资金模式。