揭密AI黑箱，开发者投入研究“可解释的人工智能”

慧聪教育网 2021-02-24 17:14 来源：十轮网

【慧聪教育网】对于后者则可考虑提供限时免运优惠，以触发最终的购买行为。

林博士补充道：“营销人员必须明白哪些关键因素会影响模型的决策。尽管对营销人员而言，了解模型背后的算法非常具有挑战性，但如果能明白哪些因素在人工智能的决策过程中发挥作用，将有助于提高模型的可解释性。”

在讨论可解释的人工智能时，未必要了解整个模型背后的复杂运行机制，只需明白哪些因素会影响其产出。换言之，理解模型的运行原理是一回事，明白其为何产出特定结果则是另一回事，两者不可混为一谈。

XAI能让系统所有者或用户解释模型背后的决策过程，借此了解其优缺点，进而推测该系统未来的运行方式。

例如，在进行图片识别时让人工智能模型聚焦于照片的特定区域，可能会引导至不同的结果。一旦了解图片的哪些部分最可能促使模型产出特定结果或决策，用户便可更有效地掌握并解释人工智能模型的行为模式。

除了协助制定策略外，XAI也让营销人员和其他用户能够向管理阶层及其他利害关系人解释产出结果，而这对于阐述模型的输出以及为何采用特定策略方面可说是十分管用。

然而，并非所有人工智能模型都具备容易解读的特性。部分研究人员指出，与图片识别、自然语言处理等深度学习模型相比，决策树和贝氏分类器等算法更具可解释性。不过，以上论点是基于精确性和可解释性之间的权衡。随着模型结构渐趋复杂，非专业人士往往难以解释清楚其背后的运行原理，但复杂的模型通常可达到更出色的性能表现。

可解释的人工智能，能协助开发者分辨偏见的好坏

林博士表示：“由于用以训练模型的资料可能自带偏见，且算法在设计上也可能在有意无意间掺入偏见，因此，偏见无可避免地存在于所有人工智能模型中。然而，并非所有的人工智能偏见都是坏事。”

事实上，偏见也可用于做出准确的预测；但在将其应用于诸如种族和性别等敏感领域时，务必要采取谨慎的态度。

林博士进一步说明：“可解释的人工智能可协助我们区分模型在进行决策时，使用的是有益的或是有害的偏见，还可告诉我们在模型制定决策的过程中，哪些因素扮演的角色更为重要。虽然XAI无法检测出偏见，但仍有助于人类理解模型决策的过程是否存在偏见。”

林博士也补充，可解释的人工智能还能够协助人们理解偏见的来源，究竟是源自用以训练人工智能模型的资料，抑或模型对于不同标签的权重等。

运行透明化，模型开发人员的责任增加

对许多人而言，人工智能的运行模式宛如“黑箱作业”：即输入资料后，经由一连串不透明的算法推导出结果，或提出应采取行动的建议。当模型产出的结果乍看之下似乎违背主动甚至有误时，便可能导致不信任的情况发生。

林博士解释：“XAI使这些模型对人类而言更容易理解、也更加合理，且每个人都可针对模型产出的结果进行研究，以决定是否采纳其建议。换句话说，XAI不仅将人类纳入决策过程，更让人们成为做出最终决定前的最后一道防线，使整个流程具备更高的可信度。”

他也补充说明，未来的人工智能模型将有能力向人们解释其制定决策的方式，并将决策摊在众人脸前以供查看，而这意味着模型开发人员的责任也将有所增加。相较于以往的黑箱作业，如今人们可以追溯人工智能模型做出的决策，相信在不久的将来，会出现能自行解释运行原理的人工智能系统。

了解AI模型的运行机制，是企业的致胜关键

学术界至今已提出许多研究报告，希望促进人工智能或其他算法的自我解释能力。

林博士指出：“有些模型要比其他模型更容易解释。例如，深度学习模型就是难以解读的模型之一，为了解读深度学习模型的运行机制，某些研究会建议使用代理模型模仿深度学习模型的行为，因为代理模型往往更容易解释。”