随着ChatGPT在2023年的横空出世，人工智能将增强攻击者的能力，这似乎成为了安全领域公认的事实。生成式AI的不断演进，安全领域的专家们就开始预测大语言模型（LLM）将会成为攻击者用于编写网络钓鱼邮件的工具。根据F5 Lab的安全研究，这仅仅只是开始，未来生成式AI将以更多种方式成为网络威胁的助推器。
尽管目前的技术水平尚难以对不明确的威胁加以控制，F5的多位安全专家依然对攻击者如何利用LLM发动攻击进行了深入预测，从而为企业防范人工智能威胁提供前瞻性洞察。
预测1：生成式 AI 将能够与网络钓鱼受害者进行对话
在2023年4月，美国计算机安全专家Bruce Schneier指出，网络钓鱼的真正瓶颈不在于用户最初点击恶意链接，而在于转出现金，而在这过程中，网络钓鱼者需要与受害者进行比想象中还要多的互动。
F5安全情报中心负责人Tafara Muwandi对Bruce Schneier的预测带来更进一步的分析，他表示LLM将接管钓鱼者和受害者之间的往来交流。过往钓鱼者需要雇佣个人来翻译受害者的信息，但生成式 AI 的出现，将可以直接翻译钓鱼者使用的非母语信息，并通过整合公开可用的个人信息，创建极其逼真的骗局。因此，有组织的网络犯罪集团将会把已知的网络钓鱼作为一种服务，并在规模和效率方面将其放大。
预测2：有组织犯罪将利用生成式 AI 创建虚假账户
有组织的网络犯罪将能创建完全虚假的在线人物形象。生成式 AI 将用于创建包含帖子和图片在内的虚假账户，使得这些内容与真人账号内容看上去并无差异。所有由虚假账户产生的攻击策略，包括欺诈、凭证填充、传播虚假信息和操纵市场，当其不费吹灰之力就能达到人类账户的真实性时，其犯罪效率也将获得大幅提升。
预测3：使用生成式 AI 进行虚假信息传播
生成式 AI 工具有显著改变恶意信息操作方式的潜力。将虚假内容创作、自动文本生成用于传播虚假信息、具有针对性的宣传错误信息以及规避内容审查，此类手段促成了恶劣影响的激增。
预测4：生成式 AI 的进步将助长黑客行为
随着计算能力持续变得更加经济实惠以及易于使用，预计与世界重大事件相关的黑客行为将有所增长。通过使用 AI 工具以及利用智能手机和笔记本电脑，更多未经磨练的新手可能会作为黑客加入到网络空间的战斗中。
对此，F5 CISO办公室网络威胁情报分析师Samantha Borer表示，“过去几年中，黑客活动在世界各地不断发生的战争冲突中复苏。最初只是出现了少量的黑客活动，但随着战场上暴力的不断升级，黑客活动也逐渐转向更具破坏性的攻击，其中包括DDoS攻击、数据泄露、网站篡改，以及明显企图破坏关键基础设施的攻击。”
预测5：网络攻击将使用生成式 AI 的实时输入能力
近年来，生成式AI在创造数字内容方面的能力已经不再是秘密，无论是制作网络钓鱼邮件还是虚假资料，都已得到广泛应用。因此，其在攻击中的使用可以被视为是被动的。
F5 Lab总监David Warburton指出，凭借生成式AI强大的编码能力，LLM 可以被用来指导实时攻击中的程序序列，使得攻击者在遇到防御时作出反应。通过利用 ChatGPT 等开源GenAI系统的 API，或者构建自己的 LLM，攻击者将能够在对网站或网络的实时攻击中融入 AI 系统的知识和想法。如果攻击者的网站攻击被安全控制措施拦截，AI 系统可以用来评估响应，并提供其他攻击方式。未来，随着LLM 的不断发展，可能会使攻击链更加多样化，并产生更加不利影响。
预测6：大语言模型的数据泄露问题
AI将会带来新的漏洞风险，且大语言模型具有的强大不透明自动化潜力，将使企业的安全、隐私和合规团队履行职责的任务日益复杂化。
F5 Lab高级威胁研究员Malcolm Heath表示，“生成式AI 驱动的工具可能会造成重大问题，比如大规模的个人身份信息泄露、获得未授权访问的新技术和DoS。与云泄露相似，由于涉及数据量庞大，LLM 泄露也将产生严重后果。”
根据研究显示，目前应用简单方式即可诱使LLM泄露其包括专有和个人数据在内的训练数据，而如今企业急于创建专有 LLM 的热潮，将可能导致更多训练数据的泄露。而出现问题的原因，可能并非来自新型攻击，而是企业仓促和配置不当的安全控制措施而致。
预测7：生成式漏洞
如今，无论是老手还是新手开发人员，在编写代码或检查漏洞时都开始越来越多地依赖生成式AI。但如果没有采用正确的安全防范措施，预计LLM将创造出难以确保其安全的漏洞代码洪流。尽管开源软件存在风险，但其优势在于其固有的一次性修复方法如果在开源软件库中发现漏洞，只需修复一次，就可以供所有使用该库的人使用。通过GenAI代码生成技术，每个开发人员最终都会得到一个独特的定制代码。
F5网络安全布道师Jim Downey表示，“代码助手编写代码的速度如此之快，以至于开发人员可能没有时间进行审查。根据 LLM 的构建时间，它可能甚至无法识别最新的漏洞，使得该模型无法构建避免这些漏洞的代码，或避免导入存在漏洞的库。而在生成式 AI 时代，优先考虑速度而非安全的企业将不可避免地引入新漏洞。”
预测8：边缘攻击
F5高级解决方案架构师Shahn Backer表示，“边缘计算的兴起将导致攻击面的大幅扩张。物理篡改、管理挑战，以及软件和API漏洞都具有在边缘环境中被放大的风险。75%的企业数据将在传统数据中心或云环境之外生成和处理。这一范式重新定义了企业的边界，因为边缘位置的工作负载可能包含敏感信息和特权。”
如同多重身份验证（MFA）一样，攻击者将把重点放在其付出的时间能产生最大影响的领域。如果企业像处理云计算一样，以同样疏忽的方式处理向边缘计算的转变，预计在未来安全事件也将会持续频发。
预测9：攻击者将提升其离地攻击的能力
架构的不断复杂化为攻击者提供了更多机会，他们能够巧妙地利用企业现有工具进行反向攻击。F5安全解决方案架构师Kieron Shepard预测到，“IT环境的日益复杂，尤其是在云和混合架构中，将使监控和检测离地攻击（LOTL）变得更具挑战性。攻击者越来越倾向于使用LOTL技术，利用受攻击系统上已有的合法管理软件来实现其恶意目标。更为严重的是，LOTL攻击可以并入供应链攻击，以危害关键基础架构并中断系统运营。因此，企业需加强网络可见性，以有效应对攻击者越来越频繁地利用企业工具造成的安全威胁。”
预测10：网络安全贫困线将变成网络安全贫困矩阵
F5高级威胁安全研究员Sander Vinberg指出，安全架构趋势将对网络安全贫困线产生深远影响。这一概念最早由思科首席信息安全官顾问主管Wendy Nather提出，定义为实现最低限度的安全控制所需的知识、权限以及最重要的预算水平。
Vinberg表示，“当前安全产品的成本和复杂性可能迫使企业在整个系统的安全控制措施之间做出选择。如今，企业需要安全编排、自动化和事件响应（SOAR）、安全信息与事件管理（SIEM）、漏洞管理工具和威胁情报服务，以及配置管理、事件响应、渗透测试和治理、合规与风险等多重安全保障。然而关键的问题在于，许多企业选择将这些控制措施作为托管服务使用，尽管这一方式可以确保专业性，但同时也为企业带来相应的成本压力。随着进入每个细分领域的准入成本增加，企业面临的抉择将更趋向于完全投入或彻底放弃，这导致越来越多的企业必须在这两者之间做出抉择。”
写在最后
上述的网络安全预测强调了企业在持续适应和创新方面对抗不断演变的网络威胁的必要性。无论是解决社会经济差异对网络安全韧性的影响、加强边缘计算环境，还是为看似无休止的AI驱动的攻击做好准备，2024年的网络安全形势都需要企业采取主动和协作的方式，以共同保护美好的数字未来。
