行业专家共同签署了“上海共识”,并呼吁建立

日期:2025-07-29 浏览:

“国际社会必须建立特定,运营和全球公认的红线,以确保在任何情况下都无法超越人工智能系统。” 7月25日,由20多个行业和学者的专家签署了关于AI安全的国际对话(从那里称为“上海共识”)的上海共识,包括杰弗里·辛顿,Yao Qizhi,Yao Qizhi,Yoshua Bengio,Stuart Russell,Stuart Russell和其他20个行业专家以及20个行业和20名行业专家?这种对话是AI安全 - Idais系列中国际对话的一部分。作为这一同意的举措之一,Yao Qizhi赢得了Turing Award和上海Qizhi研究所的董事,同一天说:“我依赖人们会找到解决方案。”将AI系统的复制,欺骗限制在-UWEAPON和其他习惯上,尤其是呼吁行业对AI的研究和开发施加“紧密诅咒”,以防止滥用RelATED技术并促进全球管理机构的建设。 Yao Qizhi宣布,在18个月前举行了第一次安全同意会议时,宣布强大的破坏性AGI权力,人们很难澄清失控的机制。但是,随着促进相关会议的促进,发现了许多相关的基于安全的“基于安全性的安全”(通过设计)提案,这意味着人们可以找到可行的途径来确保AI安全性。 “上海共识”指出,人们目前处于建设的关键点:人造系统的智能快到了,可能会超过人类智能的水平。将来,这些系统可能会采取操作员在没有操作员的知识的情况下不会期望或预测的行动。这可能会导致失控,也就是说,一个或多个通用的AI系统失控了任何人,从而承担灾难甚至风险的安全水平。铜坦率地,无法可靠地确保AI更先进的一般情报超过人类的智能水平并保持对人民的有效控制。许多会议专家还在讨论中提到,很难开发一个真正具有约束力和值得信赖的国际AI安全框架。上海人工智能实验室主任周·鲍恩(Zhou Bowen)教授指出,AI的制造目前是安全(使人工智能安全)与价值保持一致的最大问题(AI安全),通常以很高的防御成本和太低的攻击成本来响应。使安全的AI(开发安全的AI)活跃,在线共同进化,同时较低的国防成本,并且可以保持各种风险的稳定性。周·鲍恩(Zhou Bowen)认为,在一定程度上,训练模型友好并在模型中训练聪明的训练可能是两种不同的技术途径。但是,当表现在一定程度上发展时,这两个CAPA能力可能很难单独处理 - 因为经典的牛顿法律可以有效地解释事物的静态放整态运动,但是一旦它们接近光速,这种理论就不会是watedsto。因此,他认为下一代模型的“良好”和“大脑”可能不是完全独立和分开的,而是可能会影响和改变。参与该签名的专家之一吉莉安·哈德菲尔德(Gillian Hadfield)是约翰·霍普金斯大学(Johns Hopkins University)的独特人工智能一致性和管理教授,他在媒体采访中教授,包括通过建立AI“红线”边界来促进整个世界安全所需的彭帕技术(使AI安全)。此外,应建立相应的AI安全系统。为了预防和纠正此类行为,“上海共识”提出了一种响应策略,并呼吁采取三种主要行动:这需要削减MGA人工智能开发人员提供安全保证,CO-FOnder,并遵守红线的全球行为,并根据安全人工研究投资设计。其中,对于开发商而言,“上海共识”要求开发人员在部署模型之前进行全面的内部检查和第三方评估,提交高度可靠的安全案件,并进行深刻的模拟进攻和辩护,并对红色团队进行评估。如果该模型达到关键的能力阈值(例如,如果模型能够在创建生化武器时没有专业知识的非法要素,则开发商应解释潜在的政府风险(以及公众,如果适用)。作为卡拉达根(Karadagan),国际社会被要求一起绘制无法跨越人工智能发展的红线(即“高压线”)。这些红线应着重于人工智能系统的性能,其分界也应考虑R系统执行特定行为及其执行该行为的趋势的能力。为了实施这些红线,国家必须建立一个具有技术能力和国际参与的协调机构,将人工智能安全当局与不同的国家相结合,以共享与风险相关的信息,并促进评估和验证方法的标准。 “上海共识”指出,在短期内,Kagyand建立可衡量的调节机制来应对人工智能欺骗的问题,提高模型对攻击方法的抵抗力,例如“越狱”,并加强对信息安全性的投资。从长远来看,“基于安全的”建筑设计是“需要”的“架构设计”,而不是一个MERE。 。

0
首页
电话
短信
联系