实验室简介

人工智能安全与超级对齐北京市重点实验室围绕前沿人工智能技术带来的安全风险及治理需求，重点突破人工智能安全与超级对齐技术，探索人工智能系统安全可控方案，实现对前沿人工智能模型和超级智能的有效监督指导和风险控制，并在前沿人工智能模型上开展示范应用，为通用人工智能的创新发展构筑前沿的安全与治理护栏，引导超级智能与人类和谐共生。

实验室由中国科学院自动化研究所牵头建设，北京大学、北京师范大学参与共建，组成了人工智能、认知心理学、脑科学、伦理安全与治理、系统科学的交叉学科研究团队，旨在依托和凝聚北京市的优势跨学科力量，瞄准人工智能安全与超级对齐领域关键科学问题与实践，重塑和优化现有人工智能安全和超级对齐的科学与技术格局，构建让人工智能和超级智能安全可控的“北京方案”。 

科学研究目标

  • 研究并构建人工智能伦理安全模型与体系

  • 发展融合被动风险防范与主动设计构建的安全人工智能新理论与模型

  • 探索并发展融合外部监督对齐与内部机制对齐的超级对齐新理论与技术

  • 构建让人工智能安全可控的超级对齐“北京方案”


建设发展目标

  • 建设成为国际知名的人工智能安全与超级对齐前沿交叉研究基地

  • 凝聚北京市优势跨学科研发力量，前瞻布局引领人工智能安全与超级对齐前沿研究

  • 重塑优化现有超级对齐科学理论与技术格局

  • 集聚和培养面向通用人工智能和超级智能的人工智能安全与超级对齐创新人才


实验室标识


图片

实验室结构
人工智能安全与超级对齐北京市重点实验室由中国科学院自动化研究所牵头建设，北京大学、北京师范大学参与共建，科研人员共计50余人，组成了人工智能、认知心理学、脑科学、伦理安全与治理、系统科学的交叉学科研究团队。
图片
图片
图片
图片
图片
图片
图片
图片
图片
图片
2025年3月29日，"北京人工智能安全与治理协同创新矩阵"在中关村论坛发布，人工智能安全与超级对齐北京市重点实验室作为“创新矩阵”成员，与人工智能安全与标准北京市重点实验室等6家北京市重点实验室共同推进北京人工智能安全与治理协同创新。
图片
图片

实验室英文名称

Beijing Key Laboratory of Artificial Intelligence Safety and Superalignment


实验室主页

https://beijing.ai-safety-and-superalignment.cn

图片


人工智能安全与超级对齐北京市重点实验室

人工智能安全与超级对齐北京市重点实验室围绕前沿人工智能技术带来的安全风险及治理需求，重点突破人工智能安全与超级对齐技术，探索人工智能系统安全可控方案，实现对前沿人工智能模型和超级智能的有效监督指导和风险控制，并在前沿人工智能模型上开展示范应用，为通用人工智能的创新发展构筑前沿的安全与治理护栏，引导超级智能与人类和谐共生。

实验室由中国科学院自动化研究所牵头建设，北京大学、北京师范大学参与共建，组成了人工智能、认知心理学、伦理安全与治理的交叉学科研究团队，旨在依托和凝聚北京市的优势跨学科力量，瞄准人工智能安全与超级对齐领域关键科学问题与实践，重塑和优化现有人工智能安全和超级对齐的科学与技术格局，构建让人工智能和超级智能安全可控的“北京方案”。