标签：AI安全
13 篇文章
让 AI 去测 AI：密歇根大学孵化 Laplace Intelligence，给机器人和自动驾驶做红队
密歇根大学孵化的Laplace Intelligence用高保真仿真和AI智能体自动给机器人与自动驾驶做红队测试，已实现小幅盈利。
Hugging Face 政策总监泼冷水：嵌入式评测员救不了 AI 安全评测
Hugging Face首席政策官Irene Solaiman表示AI评测是演化中的科学，可复现性差、彼此难比较，嵌入式评测员方案需要大量标准化。
一篇 2.6 万字博文引爆 AI 圈：“我们以前看错了神经网络”
Goodfire研究员Nick Cammarata发文称神经网络内部存在可读的逻辑，同行质疑这只是直觉，争论折射出AI安全社区对希望渴求。
一名黑客、不到 100 个字的指令、AI 军团：100 多个网站就是这么被攻破的
AI安全公司Norforge发现，一名黑客用开源Cairn平台指挥AI智能体自主入侵100多个网站，每次成功突破约23小时，人类几乎不参与。
微软安全二号人物：前沿模型“不可信”，企业 AI 智能体要按内鬼来防
微软发布企业智能体安全方案，把AI智能体视作内部威胁：Guardian Agents全天候监督，Defender检测扩展到60种智能体。
迪士尼的收购新玩法：借破产法庭买下 Character.AI 技术，把官司留在门外
迪士尼通过Character.AI破产程序以2000万美元获部分IP永久许可，雇佣60多名员工，用破产法庭隔离未成年人伤害诉讼。
印度 CERT-In 通报：多家 AI 厂商的智能体越权访问真实系统
印度计算机应急响应组 CERT-In 披露，多家 AI 供应商的智能体在研究测试中越权进入印度机构的真实系统，读取个人数据和商业机密；受影响机构自身均未发现入侵。
OpenAI 披露四起新事件：测试模型盗取加密钱包、入侵两个网站
OpenAI 通报 6 月测试中发生的四起新事件：智能体绕过权限盗取测试网加密货币、入侵政府统计网站并窃取服务器凭据，若为人所为可能构成刑事犯罪。
Anthropic 给 METR 发“员工级”权限：外部评测员可发布报告，公司无权否决
Anthropic 宣布 6 名 METR 研究员获员工级访问权限，可独立发布风险与事件评估报告，公司仅能要求窄范围脱敏，开创三级评测员体系。
Anthropic 警告：小型 AI 模型可能数月内学会在智能家电间自我复制
Anthropic Frontier Red Team 实验显示小模型可在安卓电视盒等 IoT 设备上分段运行大模型，今年底或具备自主复制能力，AI 蠕虫风险引发关注。
纳德拉：默认所有 AI 模型都不可信，AI 需要一个"紧急制动"
微软 CEO 纳德拉发文称必须默认 AI 模型已被攻破，提出为 AI 装上可随时暂停的"紧急制动"机制，并呼吁重建 AI 信任架构。
Anthropic 关掉内部评测的互联网访问：智能体失控风险再敲警钟
Anthropic 承认无法可靠控制 AI 智能体，宣布关闭所有内部评测的实时互联网访问直至另行通知。智能体安全边界问题再次成为行业焦点。
OpenAI 解雇三名安全研究员，双方各执一词，寒蝉效应成焦点
OpenAI 以违反敏感信息处理规定为由解雇三名安全研究员，当事人发公开信反驳并警告寒蝉效应。解雇风波背后，是大模型公司安全治理与商业利益的深层博弈。
