研究人员开发的CLEANN框架的高级概述。图片来源：Javaheripi等。
如今，借助人工智能（AI）工具和机器学习算法，它们已进入多种环境，评估其安全性并确保其免受网络攻击是至关重要的。由于大多数AI算法和模型都是在大型在线数据集和第三方数据库上进行训练的，因此它们容易受到各种攻击的攻击，包括神经木马攻击。
当攻击者在训练期间将所谓的隐藏木马触发器或后门插入到AI模型中时，就会发生神经木马攻击。此触发器使攻击者可以在以后的阶段劫持模型的预测，从而导致其对数据进行错误分类。检测这些攻击并减轻其影响可能非常具有挑战性，因为目标模型通常运行良好且符合开发人员的期望，直到激活Trojan后门为止。
加利福尼亚大学圣地亚哥分校的研究人员最近创建了CLEANN，这是一个旨在保护嵌入式人工神经网络免受Trojan攻击的端到端框架。发现该框架在arXiv上预先发表的论文中提出，并将在2020年IEEE / ACM国际计算机辅助设计大会上提出，其性能优于以前开发的Trojan屏蔽和检测方法。
CLEANN的研究人员之一Mojan Javaheripi告诉TechXplore：“尽管人工智能和自治系统具有所有好处，但仍然存在危及其安全性/完整性的严重威胁。” “这些威胁之一是神经特洛伊木马，即故意导致AI模型出错的恶意输入。CLEANN是一个轻量级且有效的系统，它监视部署的AI模型以确保恶意（即Trojan）输入不会触发不良行为。”
Javaheripi和她的同事开发的框架确定了安全输入数据的特征。随后，它基于这些特征分析新数据，以便发现特洛伊木马触发器并纠正它们在插入它们的AI模型中引起的错误。
（a）具有水印和正方形触发器的示例木马数据，（b）重建错误热图，以及（c）来自异常值检测模块的输出掩码。图片来源：Javaheripi等。
Javaheripi解释说：“ CLEANN学习了良性输入的稀疏重建。” “然后，它使用稀疏恢复将恶意样本投射到学习到的良性空间中。这样做，我们不仅可以检测到特洛伊木马，还可以阻止其恶意影响。”
在使用基于神经网络的图像分类模型进行的一系列初步评估中，CLEANN取得了令人鼓舞的结果。实际上，这是同时实现高检测率和高决策校正率的第一个轻量级防御。此外，与先前提出的神经木马缓解方法相比，它不需要标记或注释的数据，也不需要重新训练目标AI模型，这两者都非常昂贵且耗时。
Javaheripi和她的同事还开发了支持其框架的专用硬件。该硬件可用于高效，实时地执行框架，从而减轻Trojan攻击所造成的危害。
Javaheripi说：“迄今为止，提出的大多数特洛伊木马防御方法都会带来很高的执行开销，从而阻碍了它们在嵌入式系统中的适用性。” 据我们所知，没有任何早期工作为实时自治应用程序提供所需的轻量级防御策略。”
研究表明，将稀疏恢复技术仔细应用于AI模型的选定信号可以帮助保护这些系统免受在线Trojan攻击。将来，他们开发的新框架可用于保护现有和新开发的AI系统免受在线Trojan攻击。
Javaheripi说：“在接下来的研究中，我们计划将CLEANN中使用的方法扩展到图像分类以外的其他领域，例如语音处理和视频。” “此外，随着对AI模型的攻击不断变化，我们将不断调整防御策略，以克服新出现的威胁。”
