系列报告

第三次会议
借助技术黑匣子透明

2019.10.31

作者：伊藤元明

当今的人工智能 (AI) 可以极其准确地预测未来事件，并在复杂情况下做出准确的决策。然而，由于预测和判断过程是一个黑匣子，用户很难理解人工智能提供的答案是否真的可信。到目前为止，人类能够掌握和理解机器的工作机制已经很常见了。而机器一直是人类可以信任、控制和管理的实体。许多人还没有准备好与他们不了解的机器一起生活和工作。为了克服这种情况，人们正在大力开发技术，使人工智能的黑箱决策过程变得透明，并了解人工智能给出的答案及其决策依据。了解人工智能在想什么，是欢迎人工智能作为合作伙伴进入人类社会的一个重要前提。什么样的技术可以解释什么事情？介绍技术发展的最新趋势。

人类无法信任、控制或管理的人工智能

据说“技术奇点”将在 2045 年到来，届时人工智能的能力将超越人类。从此，人工智能本身将在不依赖人类智能的情况下创造下一代更先进的人工智能。随着奇点的出现，人类控制机器的正常状态将结束。有人担心权力关系将发生逆转，人类将被机器控制。

然而，人工智能并不是机器第一次拥有超越人类的能力。汽车可以比人跑得更快，飞机可以以人类无法做到的方式在空中飞行。首先，今天的许多计算机有能力完成人类无法瞬间处理的大量计算。尽管如此，许多人并没有感到特别受到威胁。然而，出于某种原因，许多人对人工智能进化带来的奇点感到一种特殊的恐惧。这不仅适用于不熟悉科学技术的人，也适用于顶级研究人员和工程师。

人们害怕人工智能进化的原因之一是黑匣子问题。与传统机器不同，当前基于机器学习的人工智能无法被人类掌握、理解、信任、控制或管理。这就是焦虑的本质。人工智能是一个有用的机器，可以提供准确的答案和判断，但它是否也是一个会进化并超越人类的机器？可以肯定的是，在不久的将来，随着我们生活、工作和社会活动的发展，人类将与人工智能共存。然而，目前与他同住的人并不是他可以与人类面对面交流的人（图1）。

[图1]现在的人类和AI是从不面对面的同居者
来源：AdobeStock

“可解释人工智能”技术发展正在大力推进

近年来，越来越多的IT企业将“以人为本的AI运用”作为经营理念。人工智能是使人们生活富裕、社会活动顺利的工具。人工智能在更多地方应用的必要条件是人类可以信任、控制和管理它。因此，世界各地正在积极开发能够解释得出答案和决策的原因的人工智能技术。使黑匣子般的人工智能决策过程变得透明的技术被称为“可解释人工智能（XAI）”。

2016年以来，在AI相关国际会议上发表的XAI相关研究成果的论文数量迅速增加（图2）。美国国防部国防高级研究计划局（DARPA）特别热衷于这一领域的研究。该研究的预算约为80亿日元。许多IT公司、大学和其他研究机构也在加紧XAI相关的研发。