陶大程：判断人工智能是否可信的“四把尺子”

作者 | 维克多

编辑 | 青暮

在2021年世界人工智能大会的可信AI论坛上&＃xff0c;陶大程进行了主题为《可信人工智能的前世今生》的报告。他在报告中表示&＃xff0c;在人工智能的技术落地浪潮中&＃xff0c;AI的可信度将成为一大关键难点&＃xff0c;他还基于国内实践提出了人工智能是否可信的四个度量标准&＃xff0c;并指出在可信AI的框架探索方面&＃xff0c;我们还有很长的路要走。

陶大程是人工智能和信息科学领域国际知名学者、澳大利亚尤里卡(Eureka)奖获得者、IEEE ICDM研究贡献奖&＃xff08;数据科学领域技术成就最高奖之一&＃xff09;。他目前担任京东探索研究院院长。

以下是报告原文&＃xff0c;AI科技评论进行了不改变原意的整理。

1 前世今生

今天介绍一下可信人工智能的前世今生。人工智能并不是一个新的概念&＃xff0c;从1950年的图灵之问开始&＃xff0c;到今天产业的蓬勃发展。起起伏伏&＃xff0c;人工智能已经走过了三次浪潮&＃xff0c;甚至有学者认为&＃xff0c;我们今天正处在第四次浪潮&＃xff0c;其特点是&＃xff1a;广泛的产业落地。

正是由于“落地”&＃xff0c;所以才带来了一些问题&＃xff0c;因此讨论可信AI正是时候。先来看一些可信AI的例子&＃xff0c;大家在网上购物的时候&＃xff0c;经常会使用拍照购这一功能&＃xff0c;其使用的是计算机识别技术。如果拍照购识别的照片含有“小标签”或者被遮挡了一下&＃xff0c;那么这个时候&＃xff0c;AI系统就无法准确识别&＃xff1b;我们曾经对自动驾驶系统做过一个实验&＃xff0c;如果将小广告贴在道路交通牌上&＃xff0c;那么就到导致自动驾驶系统误判。

因为人工智能缺乏可解释性&＃xff0c;这也限制了人工智能更广泛的应用和赋能。举个例子&＃xff0c;无人驾驶车辆在道路上出现事故&＃xff0c;该如何定责任&＃xff1f;由于无法解释&＃xff0c;在将驾驶权从人类转交到人工智能系统的过程中就会产生困难。毕竟&＃xff0c;人类驾驶员无法在短短的几秒钟之内对道路情况进行及时的判断。

此外&＃xff0c;无论是欧盟的GDPR&＃xff0c;还是中国的个人信息保护法&＃xff0c;都表明用户的个人信息在使用的时候必须谨慎。这其实也对人工智能系统的模型提出了很多要求。

另一方面&＃xff0c;不仅仅是成年人在使用人工智能系统&＃xff0c;儿童同样在使用&＃xff0c;如何公平地考虑各种因素&＃xff0c;保证所有人都公平享受到技术带来的价值&＃xff0c;也是人工智能领域从业者所要思考的。

在上述急迫的需求下&＃xff0c;2016年欧洲颁布《通用数据保护条例》&＃xff0c;2017年12月份&＃xff0c;IEEE提出了《人工智能的伦理设计准则》。之后澳洲、美国等多个国家和地区也相继发布相关政策、指南、白皮书。

国内情况如何呢&＃xff1f;中国科学家何积丰院士于 2017 年11 月香山科学会议第 S36 次学术研讨会首次在国内提出了 可信人工智能的概念&＃xff0c;即人工智能技术本身应具备可信的品质。2017年12月份&＃xff0c;工信部发布了《促进新一代人工智能产业发展三年行动计划》&＃xff0c;在此之后&＃xff0c;中国的科技公司都提出了相应的可信人工智能发展规划。

2019年10月&＃xff0c;京东首次在乌镇世界互联网大会提出践行“可信赖AI”六大维度&＃xff1b;2021年4月份&＃xff0c;可信人工智能正式列为京东探索研究院主要研究方向之一。

其实&＃xff0c;可信人工智能也并不是一个新的概念&＃xff0c;很多组织或者机构都在谈论可信人工智能。从2017年到今天&＃xff0c;已经诞生了许多概念&＃xff0c;例如IEEE提出了透明性&＃xff0c;以正确的方式使用技术&＃xff0c;以人为本&＃xff0c;明确责任&＃xff0c;造福人类。澳大利亚提出了隐私保护&＃xff0c;明确责任&＃xff0c;提高透明性和可解释性等。

在中国&＃xff0c;我们更多地谈到包容共享、和谐友好、公平公正、安全可控等等几个维度。在学术研究方面&＃xff0c;在1998年甚至更早&＃xff0c;就有隐私保护、数据治理、公平包容、明确责任等等相关方面的科技文献。

综上&＃xff0c;可信涉及的领域非常多&＃xff0c;那么这些领域之间有何关系&＃xff1f;例如安全可靠意味着什么&＃xff1f;它和稳定性和可解释性有什么关系&＃xff1f;而在造福社会等主题中&＃xff0c;可解释性、隐私保护、公平性在其中发挥怎样的作用&＃xff1f;

2 四把尺子

接下来&＃xff0c;我会从四个方面进行“可信”度量&＃xff0c;包括&＃xff1a;稳定性、可解释性、隐私保护、公平性&＃xff0c;可以称之为可信AI判断的四把尺子。

其中&＃xff0c;稳定性是指&＃xff1a;人工智能系统能够抵抗恶意攻击&＃xff1b;可解释性是指&＃xff1a;人工智能系统所作出的决策需要让人类能够理解&＃xff1b;隐私保护是指&＃xff1a;人工智能系统不能把个人的隐私信息或者群体的隐私信息进行泄露&＃xff1b;公平性是指&＃xff1a;人工智能公平对待所有用户。

如果人工智能在以上四大度量上都达到很高的水平&＃xff0c;就能够做到明确责任、透明可信。

稳定性的度量有很多种方式&＃xff0c;例如对抗攻击、中毒攻击和后门攻击。这些攻击都会影响人工智能系统&＃xff0c;我们需要度量系统在面对这些攻击时&＃xff0c;是否足够稳定。这些攻击技术既可互相独立也可以同时存在。

下面举例说明这几种攻击方式&＃xff1a;中毒攻击通过按照特殊的规则进行恶意评论等方式&＃xff0c;向训练数据集投入干扰数据&＃xff0c;继而影响推荐系统的准确度&＃xff1b;对抗攻击通过在道路交通标志牌上贴上特殊设计的图案&＃xff0c;可以误导自动驾驶系统使其错误识别路牌上的信息&＃xff0c;进而造成交通事故&＃xff1b;后门攻击具有隐蔽性&＃xff0c;可能会被用于对 AI 供应链发动攻击。相比于传统的软件系统&＃xff0c;此类干扰对人工智能系统的稳定性影响更大。

可解释性的度量包含很多方面&＃xff0c;例如我们如何描述模型的泛化能力&＃xff1f;如何理解神经网络损失曲面的几何结构等等。其实&＃xff0c;除了模型和算法的可解释性之外&＃xff0c;训练样本、测试样本的可解释性也非常重要。人工智能的可解释性还有非常远的路要走&＃xff0c;需要学术界在深度学习及人工智能的基础数学理论方面继续发力&＃xff0c;只有找到合适的数学工具、统计工具、几何工具才能够有效的描述人工智能系统的可解释性。

今天&＃xff0c;人们越来越重视隐私保护&＃xff0c;我们在使用人工智能系统的时候&＃xff0c;非常想了解它是否保护了我们的个人隐私不受侵犯。如何度量模型的隐私保护能力呢&＃xff1f;差分隐私是一个主要的量化指标。其核心思想是&＃xff0c;一个具有优秀隐私保护能力的人工智能算法&＃xff0c;应当对输入数据中的微小扰动不敏感。

通俗理解是&＃xff1a;我们使用一个数据库进行模型训练&＃xff0c;对此数据库进行微调之后&＃xff0c;就得到了另外一个数据库&＃xff0c;然后用微调的数据库再次训练人工智能模型&＃xff0c;就会得到另一个模型&＃xff0c;最后&＃xff0c;衡量两个模型之间的差异&＃xff0c;量化模型的隐私保护能力。

基于该思想&＃xff0c;可以通过对数据进行下采样、顺序置换、添加噪声等方式&＃xff0c;来防御攻击者的隐私窃取行为。

此外&＃xff0c;隐私攻击方式也可以用来衡量模型的隐私保护能力。常用的攻击方式有成员推断攻击、模型反转攻击等等。如果攻击的成功率越低&＃xff0c;表明模型的隐私保护能力越强。

关于公平性&＃xff0c;我们需要考虑个体公平和群体公平两个方面。对于不同的个体&＃xff0c;我们希望系统不要有偏差。这非常困难&＃xff0c;即使对于人类而言&＃xff0c;这也是很难达到的。例如&＃xff0c;在参加委员会表决的过程中&＃xff0c;为了消除Cultural Specials&＃xff0c;通常会有专门的培训。至于群体的公平性&＃xff0c;则需要考虑大群体和小群体。

3 统一框架

那么&＃xff0c;稳定性、隐私保护、公平性、可解释性&＃xff08;泛化能力&＃xff09;&＃xff0c;它们之间有何联系&＃xff1f;如何相互影响&＃xff1f;其实需要深入研究。目前对于隐私保护和可解释性之间的关系&＃xff0c;我们已经有了初步的研究成果&＃xff1a;例如&＃xff0c;通过利用差分隐私来解释泛化能力&＃xff0c;我们发现模型的泛化能力和隐私保护能力具有协同性。

至于泛化能力和公平性&＃xff0c;稳定性和公平性&＃xff0c;公平性和隐私保护之间是什么样的关系&＃xff0c;有待于我们进一步考察&＃xff0c;有可能是协同的&＃xff0c;也可能是平衡的。

要想最终实现可信人工智能&＃xff0c;就要找到统一的综合治理框架。也就是说&＃xff0c;我们需要构建可信人工智能的大一统理论&＃xff0c;帮助我们实现有效的可信治理。