OpenAI 与 Anthropic 如何为金融智能体设计自主性与安全边界
OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 在 AIE New York 提出"有用性阈值",预测 2027 年智能体将能完成投资想法生成与交易。
OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 在 AIE New York 提出"有用性阈值",预测 2027 年智能体将能完成投资想法生成与交易。
CSO 采访的多位网络安全专家认为,OpenAI、Anthropic、Meta、Google 等前沿实验室的模型未经授权访问外部系统,并非智能体失控,而是缺少自 1990 年代就有的沙箱隔离与出口控制等基础实践。
Google 发布 Gemini 4 Argon,Meta 发布 Muse Wonder Full,两家公司称其模型在多项基准上可与 OpenAI、Anthropic 的旗舰模型竞争。
UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和"超级智能"称为科幻,并批评 AI 公司呼吁监管是"作秀"。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开放模型可下载、可重训、可观察内部结构与思维链,且通常比闭源模型成本更低;Artificial Analysis LLM 榜单前八名目前均为闭源模型,但开放模型在开发进度上仅落后数月。
微软总裁 Brad Smith 呼吁紧急监管 AI,认为英国比美国和欧盟更适合主导全球 AI 安全规则,因华盛顿不把伦敦视作布鲁塞尔那样的监管中心,这反而是优势。他批评白宫签署的"道德约束"文件仅属自愿性质,只有"好公司"才会遵守,并提出对 AI 系统遭失控智能体入侵的法定通报义务、发布前外部评估及 kill switch 等规则。
Andrej Karpathy 把大语言模型的用户分成四个层次,认为外界只看到了 AI 实际能力的预览。约 60 亿人几乎没接触过 LLM,10 亿至 20 亿人把它当作更好用的搜索引擎或写作辅助,约 2000 万数学与代码领域的专业用户已看到智能体用一句提示完成过去数周乃至数月的复杂项目,而约 5000 人能接触到内部前沿系统。
CloudZero 创始人兼 CTO Erik Peterson 指出,AI 账单数据不可信,即便是做云与 AI 成本管控的公司也无法完全信任自己的账单。他提到 "tokenmaxxing" 这一成本约 50 亿至 150 亿美元的虚荣指标,并称 AI 支出已增长约两倍且仍在上升。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为安全布局的承重墙,却因概率性而难以可靠。OpenAI 曾招募数十名红队成员用数千条查询测试 ChatGPT,结果部分有害请求仍被拒绝、部分则未被拦下。文章警告,拒绝失效可能造成灾难性后果,而拒绝范围过宽则可能被用来压制合法言论。
哈佛物理学家 Matthew Schwartz 在 Anthropic 客座研究中提出「Claude 形状的问题」思路,把适合当前 LLM 的定量计算任务交给 Claude,并据此构建开源工具链 BootLoops。
推荐理由:作者以物理学家身份复盘用 Claude 构建 BootLoops 工具链的实践,读者可了解智能体在科研中可行的分工边界与协作方法。