切换到宽版
  • 14阅读
  • 2回复

[智能应用]全球首个单智能体运行安全测试标准发布 [复制链接]

上一主题 下一主题
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君
 

发帖
144759
金币
268876
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 16846(小时)
注册时间: 2012-06-21
最后登录: 2025-07-15
只看楼主 倒序阅读 使用道具 楼主  发表于: 昨天 12:17
日前,世界数字科学院(WDTA)在联合国日内瓦总部正式发布AI STR系列新标准《AI智能体运行安全测试标准》。
该标准由蚂蚁集团、清华大学、中国电信牵头,联合普华永道、新加坡南洋理工大学、美国圣路易斯华盛顿大学等二十余家国内外机构、企业及高校共同编制,为全球首个单智能体运行安全测试标准。

据介绍,该标准针对智能体跨越“语言墙”所带来的“行为”风险,首次将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来,构建了全链路风险分析框架;同时,细分了智能体风险类型,完善并创新提出了模型检测、网络通信分析和工具模糊测试等测试方法,弥补了智能体安全测试技术标准的空白。
标准在AI for Good全球峰会期间由联合国社会发展研究所(UNRISD)与世界数字科学院(WDTA)联合主办的“数字技术与人工智能社会影响全球咨询会”上发布。
WDTA执行理事长李雨航强调,“AI STR系列标准试图建立清晰、可执行的安全标准和测评、认证体系,将伦理与责任嵌入AI的全生命周期之中,从而确保技术发展服务于人类的长期利益。”
峰会上,蚂蚁集团大模型数据安全总监杨小芳表示,当前AI技术应用加速落地,但单智能体的安全风险缺乏统一的全链路安全测试标准,导致潜在的等问题难以被量化和规避,单智能体标准的制定是AI治理的“最小可行单元”,而多智能体治理是未来“摩天大楼”的核心结构,下一步行业应从单点逐步向多智能体治理生态共建突破。
与其他国际标准不同,AI STR不仅关注风险识别和风险分级,更提供全流程管理方案,即从数据治理到模型落地,配套具体测试工具和认证流程,助力企业提升AI应用的安全性与可信度。
该标准不仅提供了一套可行可靠的智能体安全基准,也为全球AI智能体生态的安全、可信和可持续发展增加了有益的探索。目前,部分标准的测评与认证已在金融、医疗等领域落地应用。
此前,WDTA已发布3项AI STR标准,包括“生成式人工智能应用安全测试标准”“大语言模型安全测试方法”和“大模型供应链安全要求”,由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同参与。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
我有我可以
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
144759
金币
268876
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 16846(小时)
注册时间: 2012-06-21
最后登录: 2025-07-15
只看该作者 沙发  发表于: 昨天 12:18
全球首个单智能体运行安全测试标准发布情况
发布信息
2025年7月14日消息,世界数字科学院(WDTA)在联合国日内瓦总部正式发布AI STR系列新标准《AI智能体运行安全测试标准》。该标准由蚂蚁集团、清华大学、中国电信牵头,联合普华永道、新加坡南洋理工大学、美国圣路易斯华盛顿大学等二十余家国内外机构、企业及高校共同编制,为全球首个单智能体运行安全测试标准。

智能体运行安全测试标准相关背景
近年来,随着人工智能技术的快速发展,智能体在各个领域的应用日益广泛。但与此同时,智能体运行过程中的安全问题也逐渐凸显,如数据隐私问题、算法偏见以及AI决策的不透明性等潜在风险愈发显著。此前,国际上已在人工智能安全与伦理标准制定方面有所行动:

2024年4月15 - 19日,第27届联合国科技大会期间,世界数字技术院(WDTA)正式发布了《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准,这两项标准由来自OpenAI、谷歌、微软等数十家中外科技企业的专家学者共同编制而成,代表全球人工智能安全评估和测试进入新的基准。
2024年9月22日,在联合国未来峰会上,世界数字科学院(WDTA)首次宣布启动人工智能安全、可信和负责任(AISTR)认证计划,该计划旨在通过设立严格的国际标准,确保AI在设计、开发及应用中的每一个阶段都符合最高的伦理和安全标准。
此次全球首个单智能体运行安全测试标准的发布,进一步完善了人工智能安全标准体系,为智能体的安全运行提供了更具针对性的规范和指导,有助于推动人工智能技术更加安全、可靠地发展。


如何不发帖就快速得到金币道行
 
我有我可以
在线jjybzxw

UID: 551814


发帖
168546
金币
279653
道行
2004
原创
2404
奖券
2775
斑龄
35
道券
1005
获奖
0
座驾
设备
摄影级
在线时间: 38312(小时)
注册时间: 2008-10-01
最后登录: 2025-07-15
只看该作者 板凳  发表于: 昨天 19:28
您提到的世界数字科学院(WDTA)发布的《AI智能体运行安全测试标准》确实是一个重要的里程碑。这个全球首个单智能体运行安全测试标准由蚂蚁集团、清华大学、中国电信等多家机构联合编制,它标志着AI安全领域的一个新进展。

该标准的核心在于:

1. 全链路风险分析框架:首次将输入输出、大模型、RAG(检索增强生成)、记忆和工具五个关键链路与运行环境对应起来,构建了全链路风险分析框架。

2. 细分智能体风险类型:对智能体风险进行了细分,并提出了模型检测、网络通信分析和工具模糊测试等测试方法。

3. 伦理与责任:WDTA执行理事长李雨航强调,AISTR系列标准试图将伦理与责任嵌入AI的全生命周期之中,确保技术发展服务于人类的长期利益。

4. 统一的安全测试标准:蚂蚁集团大模型数据安全总监杨小芳提到,当前AI技术应用加速落地,但缺乏统一的全链路安全测试标准,这个标准的制定是AI治理的“最小可行单元”。

5. 全流程管理方案:与其他国际标准不同,AISTR不仅关注风险识别和风险分级,更提供从数据治理到模型落地的全流程管理方案,并配套具体测试工具和认证流程。

6. 跨领域应用:部分标准的测评与认证已在金融、医疗等领域落地应用。

此外,WDTA之前已经发布了包括“生成式人工智能应用安全测试标准”、“大语言模型安全测试方法”和“大模型供应链安全要求”在内的3项AI STR标准,这些标准由多家单位的专家学者共同参与制定。

这些标准的发布和实施,对于推动AI技术的健康发展、确保其安全性和可靠性具有重要意义,也为全球AI智能体生态的安全、可信和可持续发展提供了有益的探索和实践。
如何不发帖就快速得到金币道行
 
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个