人工智能安全峰会发布面向高风险系统的治理框架
作者：小小 · 2026-06-21 20:23:34
一个由顶尖人工智能企业、学术机构与政府部门组成的国际联盟，今日正式发布《前沿人工智能安全治理框架》，旨在为具备潜在灾难性风险的高级AI系统建立统一的安全评估与监管标准。该框架首次明确界定了“高风险系统”的技术阈值，包括模型可能协助制造生化武器、发动大规模网络攻击或实现自我复制并逃避人类控制等具体红线。 文件提出了贯穿AI全生命周期的“四阶段防护”体系：研发阶段的价值观对齐与能力封顶、测试阶段由独立第三方进行的红队攻击与安全审计、部署阶段的实时监控与熔断机制，以及退役阶段的模型遗忘与安全销毁。值得注意的是，框架建议各国立法要求开发者在模型训练前提交安全预案，并对超过特定算力阈值的训练集群实施强制报备。 参与起草的麻省理工学院安全政策研究员指出，该框架的突破之处在于将抽象的安全原则转化为可量化、可验证的技术指标，例如要求模型在拒绝有害指令测试中达到99.99%以上的成功率。不过，多个开源社区已对部分条款表达担忧，认为算力报备制度可能被滥用，从而抑制中小企业和独立研究者的创新空间。 联盟宣布，将在未来三个月内启动全球首个跨国AI安全测试网络，首批接入的六个国家级实验室将共享高危场景数据库，并对主流大语言模型展开联合压力测试。首轮测试结果预计于明年第二季度向公众披露。