来源：知乎—黄浴
地址：http://zhuanlan.zhihu.com/p/453146210
地址：http://zhuanlan.zhihu.com/p/453146210
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
arXiv上2021年12月21日上传的自动驾驶可解释AI的综述："Explainable Artificial Intelligence for Autonomous Driving: A Comprehensive Overview and Field Guide for Future Research Directions"，作者来自加拿大Alberta大学和华为研发。
在过去十年中，自动驾驶在研发方面取得了重大的里程碑。人们有兴趣在道路上部署自行操作车辆，这预示着交通系统将更加安全和生态友好。随着计算能力强大的人工智能（AI）技术的兴起，自动驾驶车辆可以高精度地感知环境，做出安全的实时决策，在没有人为干预的情况下运行更加可靠。
然而，在目前的技术水平下，自动驾驶汽车中的智能决策通常不为人类所理解，这种缺陷阻碍了这项技术被社会接受。因此，除了做出安全的实时决策外，自动驾驶汽车的AI系统还需要解释这些决策是如何构建的，以便在多个政府管辖区内符合监管要求。
该研究为开发自动驾驶车辆的可解释人工智能（XAI）方法提供了全面的信息。首先，全面概述了目前最先进的自动驾驶汽车行业在可解释方面存在的差距。然后，展示该领域中可解释和可解释受众的分类。第三，提出了一个端到端自动驾驶系统体系结构的框架，并论证了XAI在调试和调控此类系统中的作用。最后，作为未来的研究方向，提供自主驾驶XAI方法的实地指南，提高操作安全性和透明度，公开获得监管机构、制造商和所有密切参与者的批准。
自动驾驶可解释的需求源自各种问题和关注点。首先，自动驾驶车辆参与发生的道路事故，是一个基本的实际问题。由于粗心和危险驾驶会直接影响乘客和旁观者的安全，人们通常需要确认安全运输系统。此外，对行为或决策来由的理解是人类思维的自然要求。有专家说，“如果用户不信任模型或预测，他们将不会使用它。”在案例研究中，经验证明提供可解释和可察觉的系统可以显著提高用户对系统的信任。特别是，如果没有向参与者提供可靠的解释，频繁发生的故障可能会严重损害个人和公众对智能系统的信任。一旦对智能系统的信任被破坏，重新获得信任可能会是一项艰巨的任务。因此，人类自然希望了解特定场景中汽车的关键决策，以建立对汽车的信任。如果汽车智能决策的背后有信任，那么将进一步支持另一个积极的组件，透明度。一旦提供了透明度，就达到了另一项要求，即可依赖（accountability ），这与该系统的决定和行动是否符合管辖条例和标准有关。最后，这些积极因素促成公平性，对自主系统的决定性行动进行道德分析、支持和因果论证。这些组件及其相互关系可被视为实现自动驾驶车辆获得大众认可的基本因素。
根据自动驾驶中用户的身份和背景知识，可解释的细节、类型和表达方式各不相同。例如，一个对自动驾驶车辆如何运行缺乏专业知识的用户，可能会对相关决策/结果的简单解释感到满意。然而，自主系统工程师需要更多信息的解释，了解汽车当前的可操作性，并根据需要适当地“调试”现有系统。因此，解释受众的领域知识和知识特点对于提供恰当的、有充分信息的和可理解的解释至关重要。
以下就是一些可解释性的影响因素：
下面是自动驾驶各个模块的可解释性方法：
01
感知
正如准确感知环境是自主驾驶的基本要求一样，提供自主行动决策的基本解释对于理解场景导航和驾驶行为也至关重要，特别是在关键场景中。因此，在自动驾驶车辆的感知任务中需要提供可解释性方法。
一些研究用视觉注意的反省（introspective ）文本描述寻求因果（post-hoc）解释，一些研究把解释作为涉及因果推理的人类行为描述，另一些研究将重点放在目标诱导（object-induced）的行为决策。
另一种基于感知的解释生成方法是理解卷积神经网络（CNN）的结果。这种方法背后的主要思想是测量和显示从神经网络输出层反向传播（BP）到输入层的梯度。基于梯度的解释方法示例包括Class Activation Map（CAM），其增强变型，如 Guided Grad-CAM、Grad-CAM、Grad-CAM++、Smooth Grad CAM++，以及基于反向传播的方法，如引导（guided）反向传播、分层相关（layered relevance ）传播，VisualBackProp和DeepLift。此外，基于启发式的Deep Visual Explanations（DVE）为深度CNN的预测提供了合理的理由。基于计算机视觉的可解释自动驾驶系统综述，见valeo公司的文章“Explainability of vision-based autonomous driving systems: Review and challenges”。
02
定位
由于自动车辆的实时决策需要准确地感知道路位置，因此了解如何从不同导航系统和传感器获取车辆位置也至关重要。这就是定位还需要解释性的原因。需要了解自动驾驶车辆的诱发位置，特别是当来自GPS或其他传感器的信号不精确时候。这种不可靠的通信通道可能因此迫使自动驾驶汽车做出错误的高风险决策。因此，调试导航系统和相关传感器，有助于阻止不准确的信号，并为自动驾驶汽车的纵向-横向正确定位提供可靠的通信渠道。
03
规划
规划决策的可解释性综述见论文”The emerging landscape of explainable automated planning & decision making“，来自IBM和Arizona州立大学。
之前的一个Explainable AI Planning (XAIP)?研讨会，其议程特别说到”虽然XAI主要关注基于黑盒学习的方法，但基于模型的方法非常适合——可以说更适合——作为可解释性，XAIP可以帮助用户在复杂决策过程与AI技术交互，发挥重要作用。“
摘自该综述，其可解释性方法如下分类：
可解释性的性质包括：
04
控制
由于车辆控制最终反映了驾驶系统的高级决策，用户可能需要及时解释实时自动行动选择的基本原理。这一需求将可解释性的本质引入到自动化车辆的控制系统中。车内界面、仪表板和其他用户友好功能，可帮助用户提出“为什么”问题（例如，“为什么停在右侧？”），或对比问题（例如，“为什么选择这条路线而不是另一条路线？”），反事实（counterfactual ）问题（例如，“如果选择了该路线而不是当前路线，怎么办？”）和描述性问题（例如，“十分钟后会在哪里？”）。
另外，作者提出一个XAI框架，集成了自主控制、可解释性和法规遵从性。如图所示：包括可调节的自动驾驶三个组成部分，一个端到端自动控制系统组件（eeC，把感知的环境映射到车辆的动作），一个安全法规遵从性组件（srC，代表监管机构职能，主要职责之一是验证eeC与自动车辆动作任意组合的安全性。主要通过软件模拟仿真和实际驾驶验证），和一个XAI组件（XAI指导的自主驾驶应该在最高层反映出一种学习到的软件体系结构和监管原则）。
自动驾驶XAI，就是定义为AI驱动方法的概要（compendium）：1）确保车辆实时决策的可接受安全，2）提供关键交通场景中动作决策的可解释性和透明度，以及3）遵守监管机构制定的所有交通规则。
最后，作者提出一个现场指导：引导XAI追随自动驾驶的目标，其包括以下四部分
可解释的视觉（