人工智能
与数字信任

身份操纵

生成式AI可以在几秒钟内创建超级逼真的图像和视频，甚至可以在生成实时视频时对其进行更改。这可能会削弱人们对各种重要系统的信心，从人脸识别软件到法律系统中的视频证据，再到政治假消息，并破坏人们对几乎所有形式的视觉身份的信任。 

使用“炸药”进行网络钓鱼

攻击者可以使用生成式AI工具来逼真地模拟人脸、声音和书面语气，并模仿企业或品牌身份，然后利用这些进行高效且难以检测的网络钓鱼攻击。 

提示注入

由于许多企业都在使用现成的生成式AI模型，它们可能会将用于训练或提示其实例的信息暴露给攻击者针对热门模型而改进的注入攻击。如果没有严格的保护措施和频繁的更新，利用基础模型的可攻击漏洞可能会将使用该模型的任何组织暴露于众。  

机器幻觉

尽管AI通常可以快速生成令人信服的语音或文本，但这些并不总是准确的。对于依赖AI为用户生成信息或支持内容的企业，以及使用机器学习来进行威胁检测的企业，问题特别严重，因为异常结果的代价可能会非常高昂。 

攻击复杂性

由于AI能够以超人的速度编写功能代码，因此它可能被用于以前所未有的速度和复杂性扩展攻击。此外，AI可被用于在被攻破的代码库中检测漏洞，并可通过降低进入门槛来扩大攻击者的范围。  

定制的恶意软件

虽然热门的LLM对用户创建恶意代码有一些保护措施，但老练的攻击者可以发现可攻击的漏洞和薄弱环节。被盗或被复制的模型也可以被去除这种保护措施，使恶意分子能够迅速生成几乎无法检测的、高度可定制的漏洞。 

中毒数据

攻击不一定需要利用AI本身。相反，他们可以针对用于训练机器学习模型的数据进行虚假输出。然后，可以进一步利用这一点在模型中创建可攻击的漏洞，例如在罪犯数据库中伪造DNA序列，或者只是产生可能损害目标企业的结果。  

隐私泄露

使用敏感数据训练或处理敏感数据的AI可能会暴露这些数据，无论是通过缺陷（就像几个主要商业模型所发生的那样），还是通过针对性攻击。