探秘WAIC镇馆之宝：AI“钓鱼”AI，人类看戏
关注前沿科技约 10 分钟
杨净 发自 WAIC
量子位 | 公众号 QbitAI
一个专攻大模型的
“黑客”
，竟摇身一变，当选人工智能大会
（WAIC）
“镇
馆之宝”
？！
WAIC镇馆之宝展区上，一众人工智能领域创新成果亮相。
不管从科技含量、市场前景、通用性、社会经济效益等维度都具有先进性和代表性。
这当中，竟意外发现了个“异类”。
别看它一个矮萌机器人，表面人畜无害。但背地里专干“钓鱼执法”的事儿，引诱大模型“越狱”。
探秘AIGC镇馆之宝
事实上，这个机器人名为蚁鉴，通过智能对抗技术，自动并持续生成海量测试集话术，诱导AIGC对话模型生成风险内容。
像一个24小时不眠不休的“安全黑客”找茬大模型，定位大模型存在的弱点和安全问题所在，实现以攻促防。
换句话说， AI“钓鱼”AI 。
于是乎，在展区现场就形成了一场奇妙的AI对垒——
左边正是“蚁鉴机器人”，右边则是一个具备文本生成文本对话能力的语言模型，两两对抗。
中间的显示屏记录了一切，嗯，专供给人类看戏。
旁边的工作人员透露了左边选手的底牌：是生成式AI安全检测平台“蚁鉴”通过AI自动生成的百万量级诱导攻击提问，涵盖“内容安全”、“数据安全”、“科技伦理”三个大的模块，共有数百种风险类别。
每个模型基本上能被攻击个三四万次。
攻击过程中，它还会不断精进更新话术，增强自己的能力。
这是因为诱导之后，它会自动生成一份检测报告，从可用、可靠、可信和可控等维度来衡量AIGC模型的潜在风险。
从技术维度出发，整个过程可以分成三个步骤：
自动生成海量测试用例；诱导式对抗检测系统；根据诱导生成模型和标准评价模型生成测评报告
可以看到的是，从第一步自动生成测试数据开始，它就已经将生成数据进行了结构化处理。
按照生成渠道、诱导等级来划分，分别都划分了四个等级。（按照等级从小到大排列）
生成渠道：人工生成、模版生成、指令生成、诱导生成；
诱导等级：正常话题、安全话题、文本对抗、逻辑对抗。
不过这并非蚁鉴的首次亮相，去年WAIC上就已经上线1.0版本。今年，这套平台全面升级2.0版本。
在原有鲁棒性测评工具的基础上，新增了前文所述的AIGC安全性评测，以及可解释性评测工具。
它能围绕完整性、准确性、稳定性、差异性等7个评测维度及20项评测指标，利用逻辑推理、因果推断等技术，对AI系统进行分析和评价，支持表格、文本、图像等多种数据和任务类型。
目前，通过蚂蚁与清华大学等机构的联合科研，已经将“蚁鉴2.0”这套工具推向通用化和标准化——
支持数字金融、教育、电商等大规模复杂的业务场景对AI安全性检测需求。
据了解，这种实现产业级应用支持文本、图像等全数据类型的AI安全检测平台。 放眼业内，尚属首次 。既然如此，这样一个“AI安全黑客”，究竟如何炼成？
来自蚂蚁安全天筭实验室
随着人工智能走向生成式2.0时代，如何用可信AI保障着AI的创造力，也成为全球产学研界热议的焦点。
自2015年起，蚂蚁集团就开启了可信AI的相关实践和探索。
作为蚂蚁集团在人工智能领域的重点布局之一，专注于可信AI技术研究的蚂蚁安全天筭（音同“算”）实验室就由此诞生。
据实验室主任张天翼介绍，目前实验室主要做两件事。
一件事是 安全需要AI 。诸多像反欺诈、反洗钱、企业联合风控、数据隐私保护在内的风控场景，对AI的诉求比以往高出不少。通过AI技术建设起一套智能风控解决方案，还支撑起了支付宝的智能化不断升级，保障了十几亿人的数字化服务体验。
据工作人员介绍，
另一件事就是 AI需要安全 。完成一笔支付的风控判断，往往只需10毫秒。支付宝资损率连续三年低于亿分之一。
今天AI系统各种智能模型，广泛地应用于各种业务场景中，模型本身的安全、可靠、可信等方面的考量和评估，也就成为了AI系统稳定运行的关键基石。具体产品代表也就是AI安全检测平台2.0。
这次世界人工智能大会上，蚂蚁可信AI技术架构得到首次系统公开——
可信AI决策大脑 ，基于底层软、硬件、计算平台底层基础设施，围绕模型全流程各阶段打造解决方案。
整个技术体系的打造核心围绕着可信AI的四项基本技术原则，包括鲁棒性、可解释性以及隐私保护和公平性。
基于多年深耕，蚂蚁安全天筭实验室在可信AI领域的技术成果得到业界多方认可。
据全球权威知识产权第三方机构IPRdaily发布《AI安全可信关键技术专利分析简要报告》显示：
截至2022年11月28日，蚂蚁集团以753件专利位居第一，远高于其他企业。并且已经连续两年取得这样的成绩，布局全球15个市场。
天筭实验室也经常亮相各大顶会。比如在AAAI-23会议中，他们在全图风控和可信 AI 方向上，共有4篇关于对抗算法、图算法和隐私保护的论文入选 。
在大模型研发中，安全也是蚂蚁的关注重点。前段时间，蚂蚁官宣正在和清华大学携手推动“安全通用大模型”的技术路线和落地研究，以应对大模型技术爆发时代的安全科技生产力问题，及通用AI能力广泛应用带来的新型未知风险防控。
在此之前，双方曾通过CCF-蚂蚁科研基金、定向联合研究等模式，开展了多项课题合作。清华大学高等研究院还与蚂蚁集团联合设立了“隐私计算与区块链联合研究中心”。
AI治理往何处去？
最后，回到这件事情本身， AIGC安全检测 ，其实是当下整个AI发展的一个缩影。随着ChatGPT，以及一系列相关AI技术在全世界产生越来越大的影响。对于AI治理问题被提上日程，成为了整个社会迫切要解决的事情。
前段时间，深度学习之父突然离职退休，只为“为了自由地讨论人工智能的风险”。
不久之后，包括马斯克、苹果创始人沃兹尼亚克、OpenAI创始人山姆·奥特曼等等在内的一众科技领袖和行业专家，共同签署发布了一封联名信。
这封公开信号召人们警惕AI给人类带来的风险，并且把这一事物作为 “全球的优先级” 。同一时间，AI诈骗造假上升到了新高度，各种整活儿冲上热搜震惊全网。
事实上，在此之前国内外产学研已经展开一定的探索。
着眼于国内，前几年，业界集中成立了一批关注隐私计算的公司；著名计算机科学家周以真曾经发表《可信人工智能》一文，探讨“可信AI”的定义；
而央行、国家市场监督管理总局也都曾经发布过相关规范，为不同领域的AI算法确立了安全评估标准……
但现在特别是今年，AI技术范式发生突破性变革，整个产业格局乃至社会环境也随之发生了翻天覆地的变化。
我们对于通用AI应用在各行业的想象也更加具象。
比如在AI课堂，它能根据不同学生的学习进度量身定制、因材施教，提供灵活学习模式与进度跟踪；还有游戏行业，多模态对话、与具有自主意识的NPC互动，给玩家带来更沉浸式的体验……
那么关于AI治理、AI安全、可信AI的研究与探索，也势必会因时制宜地诞生出新的思考和方法论。
中国信息通信研究院研究员龚柳婷 表示，为未来趋势的风险做前瞻性布局。首先预测人工智能领域未来发展趋势，主要有两个方向，通用人工智能和具身智能。为了更好地应对人工智能发展过程中可能出现的新风险、新挑战，我们需要在人工智能生产全生命周期进行提前布局和准备，在技术应用设计之初，就将可信AI的原则作为整体技术发展的价值判断。
那么更关注技术前瞻性的学术界，是否可以给出更多可行路径？
清华助理研究员赵乙 则谈到了两点措施：第一点，加大对AI可解释性研究的投入。特别是对于网络空间安全和互联网体系结构等这些细分领域。这些领域与国家安全密切相关，可信AI尤为重要。
第二点，关注AI技术存在的客观限制，如何利用特定领域的客观限制，主动地提升AI可解释性，规避潜在风险。
至于产业界， 蚂蚁集团张天翼 则表示，会倾向判断什么趋势是不变的，然后围绕这一原则展开。那就是真正让AI保持在一个可用、可控、可信、可靠这样的这个框架内。
可信AI如何量化？
为了更好理解可信AI发展和未来趋势，量子位专程邀请到了中国信息通信研究院研究员龚柳婷、清华助理研究员赵乙、蚂蚁安全天筭实验室张天翼，与三位国内深度参与可信AI构建的行业从业专家展开了探讨。
在不改变原意的基础上，量子位做了如下梳理。