编者按
近日，英国著名的防务智库皇家联合军种国防研究所（RUSI）发布报告，系统研究了人工智能对国家安全的威胁以及应用。报告指出，在科技日新月异的今天，数据治理和监管是一个热点话题。随着数据量不断呈指数级增长，使用更先进的分析工具已成必要。
但人工智能的恶意使用已经对国家安全构成了“切实威胁”，例如使用机器学习进行网络攻击、制作恶意软件、散布谣言等非法活动。因此，安全机关迫切需要采用更先进的数据科学技术，以应对人工智能带来的潜在威胁。 IPP评论组织翻译了这一报告的关键部分，供诸君参考。
▲该报告封面
作者：
亚历山大巴布塔（Alexander Babuta）
英国皇家联合军种国防研究所（Royal United Services Institute for Defence and Security Studies，RUSI）研究员，其研究方向为警务、情报学、大数据、人工智能以及机器学习。
玛丽安奥斯瓦尔德（Marion Oswald）
RUSI 副研究员，其研究方向为数字技术对法律、伦理和社会的影响。
阿迪贾内夫（Ardi Janjeva）
RUSI 政策分析师，其研究方向为情报学在大数据、人工智能、机器学习以及司法体系中的应用。
一、背景
虽然人工智能可以增进现有安全机制的效率和有效性，但同时也会带来新的问题，这些问题需要在现有法律和监管框架内进行评估。最近，一些分析人士称，人工智能和高级分析技术在监管方面有潜在的风险，可能会产生隐私或人权问题。科技发展带来的安全挑战是英国的高度优先事项之一。根据英国政府通信总部（GCHQ）的说法，有必要开展有关国家安全与人工智能的辩论，这样有利于更快地获得应对方案，也能给公众一个交代。
GCHQ进一步指出，“人工智能的应用必须符合伦理规范，并接受有效的监管”。英国军情五处总干事安德鲁帕克（Andrew Parker）表示，虽然人工智能能够让我们实时地了解成千上万人的生活细节，但是 我们仍无法通过数据了解人类的思想。
令人担忧的是，许多不成熟的人工智能技术在商业界开始流行。英国安全机关在数据的获取和使用方面需要接受额外的审查，而私营部门却并非如此。
因此， 人工智能的国家安全应用需要比商业应用有更高程度的鲁棒性、弹性和独立性。此外，英国安全机关需要在不损害社会和伦理价值观，以及公众信任的前提下，充分利用人工智能带来的机遇，制定明确、科学的决策。
▲人工智能的目的是增强人类智能，而不是取代人类智能，这也是公众所期望的。（图源：网络）
二、何为人工智能？
弱人工智能可以理解为“使机器能够有效地执行高度复杂任务的通用数字技术”。人工智能通常定义为“执行通常需要人类智能的任务”，主要由六个关键要素组成，即自动推理、自然语言处理、知识表示、计算机视觉、机器人学以及机器学习。
弱人工智能的发展与机器学习的发展息息相关。机器学习能通过经验自动改进计算机算法，其特点是使用统计算法进行建模、理解和预测。算法可以定义为“为解决一个特定的问题而精心设计的一组数学指令或规则”，而机器学习是一种特殊算法，使用新数据可以优化计算机程序的性能标准。机器学习可以大致分为四种类别：监督学习、半监督学习、无监督学习和增强学习。
半监督学习：介于监督学习与无监督学习之间。训练集一半为人为标注，另一半则为无人为标注。机器可以根据这种训练集进行预训练，然后通过人为标注集进行调整。
增强学习：机器为了达成目标，随着环境的变动，而逐步调整其行为，并评估每一个行动之后所得到的回馈是正向的还是负向的。例如，使用者可以对机器推荐的音乐进行反馈，以便让机器学习使用者的音乐喜好。随着反馈的增多，推荐结果将越来越贴合使用者的音乐喜好。
然而，值得注意的是，英国大多数人工智能的发展成就都是由私营部门和学术机构创造的。英国公共生活标准委员会（Committee on Standards in Public Life）的调查显示，尽管人工智能引起了不少官员的重视，但人工智能在英国政府的普及程度并不高，而且英国政府的人工智能项目仍处于计划阶段。因此，如何在未来充分利用人工智能带来的机遇，应当成为英国政府的高度优先事项。
▲如何在未来充分利用人工智能带来的机遇？（图源：网络）
三、AI在国家安全中的应用
“信息过载”给英国安全机关带来了严峻挑战，正如美国贝尔弗科学与国际事务中心（BCSIA）格雷格艾伦（Greg Allen）和塔尼尔陈（Taniel Chan）所说：“随着数据量的激增，情报工作的难度也随之加大，想要找出有价值的信息犹如大海捞针。”
“信息过载”只是一方面。英国上议院议员大卫安德森（David Anderson）在2015年的政府工作报告中指出，通信方式的变革、电信供应商的分散化、通信权归属的争议，加密技术的升级和新数据源的出现加大了英国安全机关的工作难度。为了应对这些挑战，英国政府需要开发更高级的数据分析工具，而人工智能将是实现这一目的重要途径之一。英国政府通信总部（GCHQ）曾公开表示：“ 许多类似GCHQ的机构将考虑使用机器学习和人工智能，这有利于提高英国安全机关的工作效率和有效性，英国的国家安全也将得到更有效的保障。”
为此，本报告提出了英国安全机关的改革方案，并进行了分类，如下图所示：
1. 人工智能在商业和行政领域中的优势
对于任何大型行政机构而言，重复性工作占总工作量的很大一部分。 使用人工智能最直接的优势是行政管理自动化。2016年美国政府发布的人工智能报告称：“人工智能带来的主要经济效应是行政管理自动化。”
人工智能在商业领域中的运用也具有重要的价值和意义。人工智能可在前台和后台使用：在前台，基于计算机视觉和自然语言处理的人工智能系统可根据图像信息，用语音引导用户完成电子商务交易；在后台，人工智能系统可通过图像扫描，对发票进行全自动化的数据转换，在贷款业务中进行交叉引用数据，整理巨量信息，例如行业公告、财务数据等。同样，使用人工智能可大大减少政府的工作量。
2. 人工智能对网络安全的重要性
基于人工智能的网络检测系统可对各种网络活动进行分析，对异常活动做出实时响应。用户认证也是一个值得关注的方向。最近有研究提出了一种“行为的生物测定法”，即根据用户数字活动的特征判断用户的安全性，例如用户使用鼠标的习惯、输入的字词、语言特征等。这也是一种增强网络安全的有效手段。
3. 人工智能在情报领域的应用
人工智能可对非结构化或繁杂的数据集进行分析，并找出有价值的信息，提高情报工作的效率。人工智能在情报领域的应用可大致分为三个方面：
认知自动化
人工智能最明显的优势是“认知自动化”，即人类感官数据化（如自然语言处理和视听分析）。这项技术可大大减少人工分析数据的时间，同时还可降低情报外泄的风险。
数据筛癣标记、分类
英国安全机关采集的数据主要是通过体积缩减系统进行处理的，这个系统能够对数据进行过滤、搜索和筛眩 如果在这一过程中使用人工智能，就可提高体积缩减系统的效率，确保情报分析人员只接触到与手头任务相关的数据，最大限度地减少间接入侵。美国国家研究委员会（UNRC）在2015年的一份报告中称：“虽然目前仍没有可完全取代大规模信号情报采集的技术，但可提高情报采集的针对性及控制所采集情报的使用。英国需要开发一种可限制对情报的访问、审核和使用的系统以加强隐私保护。”
大卫安德森在2016年撰写的一份审查报告阐述了英国政府通信总部是如何批量拦截信号情报的。这项技术可分为三个步骤，即“采集”、“筛选”和“核查”。首先，评估通信的情报价值，选择承载。然后，对选定承载的通信量进行一定的过滤，筛选出有潜在情报价值的通信，同时丢弃无情报价值的通信。最后，将剩余的通信输入数据库进行有针对性和非针对性的搜索，以获得有情报价值的通信。由于数据量巨大，情报分析人员通常会采取应用分类法来确定哪些情报最有价值，然后对筛选出的搜索结果进行核查。
英国调查权利专员办公室（IPCO）最近的年度报告指出：“绝大多数通过批量采集获得的情报并未经过情报分析人员的审查，但会根据特定标准进行自动筛选审查，使我们尽可能地获得有价值的情报。”
行为分析法
行为分析法可定义为将复杂算法应用于分析和预测人类行为的一种分析方法。安全机关可通过基于行为分析法的人工智能预测各种对国家和个人的威胁。
人工智能用于反恐情报分析已成为目前关注的焦点。2017年伦敦和曼彻斯特恐怖袭击事件发生后，就有官员提出改良英国安全机关的数据使用方式，以提高其反恐能力。大卫安德森最近撰写的报告描述了开发相关技术所需的能力和数据，其中提到：“随着人工智能提取信息能力的不断增强，行为分析法在人工智能中的应用也越来越成熟，届时现有的技术难题将会迎刃而解。”
大卫安德森指出，行为分析法永远不会过时，不仅可用于完善现有的反恐风险评估机制，而且还可用于侦测可疑目标，例如分析个人心理变化、犯罪分子进行犯罪活动前的行为等。目前有大量的学术文献研究临床（自主）决策与统计（非自主）决策的相对优势，但学术界对它们的理解和评价仍存在巨大争议。上世纪50年代的一些实证研究显示，无论在学术或实践上，统计预测都比非结构化临床判断更准确。有专家认为，在评估个人层面的风险时，综合预测准确率从根本上是有误导性的，而且有证据表明，基于专业判断的风险评估机制优于基于统计法的风险评估机制。
此外，由于恐怖暴力事件的发生频率较低，统计风险模型的历史数据集通常较校根据学术文献中的案例分析，恐怖分子的个人背景、行为模式、犯罪动机，以及犯罪诱因等方面皆存在巨大差异。因此，恐怖分子之间的共同点很少。正如美国弗吉尼亚大学法学教授约翰莫纳汉（John Monahan）总结的那样：“大多数现有研究未能从统计学的角度明确地找出诱发恐怖主义的因素，难以进行微观化的风险评估。”将统计法纳入风险评估机制的另一个问题是使用行为分析法可能会导致个人背景信息的丢失。
考虑到行为分析法的局限性，本报告建议开发增强智能系统。这种系统能够整理来自多个来源的信息，并可对重要的数据项进行标记以供人工核查。尽管如此，在评估个人行为模式或心理状态的变化仍需要一定的人为判断。美国软件和服务公司Palantir最近发表的一篇文章指出：“人工智能被过分夸大了。 机器的作用并不是取代人类，而是服务人类。在数据泛滥的今天，增强智能使安全机关能够以更加透明的方式做出数据驱动的决策。”
伦敦警察局局长克雷西达迪克（Cressida Dick）在2020年的RUSI年度讲座上强调：“虽然我们需要借助各种先进技术开展工作，但我们不会把所有的希望都寄托在人工智能上。人工智能的目的是增强人类智能，而不是取代人类智能，这也是公众所期望的。”
四、恶意人工智能的潜在风险
人工智能可以带来好处，但它也有其黑暗面，黑客利用人工智能制作恶意软件攻击的做法早已屡见不鲜。更让人不安的是，一些不受同等法律框架约束的敌对国家正在大力开发恶意人工智能。网络犯罪集团在未来也会通过科技的高速发展，使用更高级的恶意人工智能进行犯罪活动。
1. 数字安全
人工智能恶意软件给英国国家安全造成的威胁在未来将成为常态。具体地说，许多传统的恶意软件防御措施几乎无法检测到使用无限数量的加密算法的多态恶意软件。这些软件可主动确定攻击目标，对攻击目标进行优先排序，环境适应力强，可在无人为操控的情况下传播。另一个值得关注的问题是域生成算法的恶意使用。域生成算法在恶意软件中用于生成大量的域名，这些域名可用于与恶意软件的命令和控制服务器的通信，例如，受感染的计算机可创建数千个域名，这无疑加大了反制僵尸网络的难度。
近年来，更多的黑客转向利用人的弱点即社会工程学法来实施网络攻击，这通常被认为是一种欺诈他人以收集信息、行骗和入侵计算机系统的行为。社会工程学攻击以不同形式，通过多样的攻击向量进行传播，例如，在大多数情况下，攻击者利用受害者账户发送电子邮件，由于人们通常更容易相信来自熟人的邮件附件或链接，从而让攻击者轻松得手。
人工智能在商业领域的应用也存在着不小的风险，而这些风险很可能会被黑客利用。针对训练数据的供应链攻击可能会导致人工智能系统无法正常运行。攻击者还可通过训练算法将恶意软件伪装成合法软件在人工智能系统中安装后门程序。
2. 政治安全
随着人工智能的发展，造假技术也越来越高级。深度伪造技术是人工智能的另一种形式，可用于歪曲事实，甚至可对政治秩序构成威胁。这项技术利用生成对抗网络（GAN）的机器学习技术，将现有的图像和影片添加到目标图像或影片上，例如换脸、像傀儡般的同步动作、伪造声带、唇形同步等。2019年5月，三星电子（Samsung）的研究人员展示了一个人工智能系统，该系统可根据照片生成“会说话”的视频。英国2019年大选前夕，一位名叫比尔波斯特（Bill Posters）的艺术家公布了一段以深度伪造技术制作的视频。在该视频中，首相候选人鲍里斯约翰逊（Boris Johnson）和杰里米科尔宾（Jeremy Corbyn）相互支持对方竞选首相。他想以此告诫公众：人工智能是一把“双刃剑”，既能助力社会发展，也能对社会带来危害。
假视频很容易被识破，但由于数字内容在网上传播的速度很快，决策者有可能会被虚假信息误导，给国家带来灾难性的后果。
3. 实体安全
尽管目前人工智能武器化的案例很少，但恐怖分子可利用商业人工智能系统进行犯罪活动，例如，使用无人机或自动驾驶车进行恐怖袭击。可以肯定，这些风险会随着人工智能的高速发展而进一步加大。据预测，到2035年，自动驾驶车在欧洲的销量将达到世界汽车总销量的31%。此外，人类还可借助人工智能轻而易举地完成需要专业技术的任务，例如军事无人机的“集群攻击”，即利用分布式人工智能网络，使无人机具备持续监视、大区域预警、对特定目标执行快速协调攻击等能力。
物联网、“智慧城市”和基础设施互联互通暴露出的问题让黑客找到了可乘之机。虽然这些威胁尚未明确，但威胁仍无处不在。因此，英国政府需要制定积极、主动的政策应对人工智能对国家安全的威胁。
★ 本文系IPP独家译著作品。
译著：曾辉， 华南理工大学公共政策研究院研究助理。
编辑：IPP传播
