杜克大学计算机科学教授辛西娅·鲁丁（Cynthia Rudin）说，但这就是问题所在。 “我们可以在另一端输入医学图像并观察结果（这是恶性病变的照片，但是很难知道两者之间发生了什么。”所谓的``黑匣子''问题。机器的想法-网络-即使对于制造它的人来说也是隐藏的层。很难理解.``深度学习模型的问题在于它们是如此“我们实际上并不知道他们在学什么。” Duke Rudding实验“他们经常可以使用我们不希望他们获得的信息。他们的推理过程可能是完全错误的。” Rudin，Chen，杜克大学（Duke）大学本科毕业生贝杰杰（YijieBei）提出了解决方案，通过修改这些预测背后的推理过程，研究人员可以更好地对网络进行故障排除或了解它们是否值得信赖。图像的主要特征或像素他对计算机视觉系统做出正确回答的原因是：“这种类型的胸部X射线生长被归类为恶性，因为对于这种模型，这些区域对于肺癌的分类至关重要。”这样的方法不行。无法透露网络的原因，而只能透露其位置。公爵队尝试了另一种方法。他们的方法不是试图根据事实来考虑网络的决策，而是通过表达对概念的理解来训练网络以展示其工作。他们的方法是通过揭示网络需要多少思考不同的概念来进行工作。帮助破译所见。鲁丁说：“它弄清楚了如何在网络层中表示不同的概念。”例如，给定给定的图书馆图像，该方法可以根据它们对“书”的心理表达来确定神经网络的不同层以及识别场景的程度和程度。研究人员发现，只需要对神经网络进行一些调整。它可以像原始网络一样准确地识别图像中的对象和场景，同时在网络的推理过程中获得实质性的可解释性。鲁丁说：“这项技术的应用非常简单。”此方法控制通过网络的信息流。道路。它涉及用新部分替换神经网络的标准部分。新部分仅约束网络中的单个神经元，以响应人类理解的特定概念而触发。这些概念可以是日常物品的类别，例如“书”，“书”，“书”。或“自行车”。但是它们也可以是通用特征，例如“金属”，“木材”，“冷”，“金属”，“木”，“木”。或“温暖”。通过一次只让一个神经元控制一个概念的信息，很容易理解“网络的思考”。方式”。