人工智慧
與數位信任

身分操縱

生成式AI可以在幾秒鐘內創建超級逼真的圖像和影片，甚至可以在產生即時影片時對其進行更改。這可能會削弱人們對各種重要系統的信心，從臉部辨識軟體到法律系統中的影片證據，再到政治假訊息，並破壞人們對幾乎所有形式的視覺身分的信任。 

使用“炸藥”進行網路釣魚

攻擊者可以使用生成式AI工具來逼真地模擬人臉、聲音和書面語氣，並模仿企業或品牌身分，然後利用這些進行高效且難以檢測的網路釣魚攻擊。 

提示插入

由於許多企業都在使用現成的生成式AI模型，它們可能會將用於訓練或提示其實例的訊息曝露給攻擊者針對熱門模型而改進的插入式攻擊。如果沒有嚴格的保護措施和頻繁的更新，利用基礎模型的可攻擊漏洞可能會將使用該模型的任何組織曝露於眾。  

機器幻覺

儘管AI通常可以快速產生令人信服的語音或文字，但這些並不總是精確的。對於依賴AI為使用者產生訊息或支援內容的企業，以及使用機器學習來進行威脅檢測的企業，問題特別嚴重，因為異常結果的代價可能會非常高昂。 

攻擊複雜性

由於AI能夠以超人的速度編寫功能程式碼，因此它可能被用於以前所未有的速度和複雜性擴充攻擊。此外，AI可被用於在被攻破的程式碼庫中檢測漏洞，並可透過降低進入門檻來擴大攻擊者的範圍。  

自訂的惡意軟體

雖然熱門的LLM對使用者創建惡意程式碼有一些保護措施，但老練的攻擊者可以發現可攻擊的漏洞和薄弱環節。被盜或被複製的模型也可以被去除這種保護措施，使惡意執行者能夠迅速產生幾乎無法檢測的、高度可自訂的漏洞。 

中毒數據

攻擊不一定需要利用AI本身。相反，他們可以針對用於訓練機器學習模型的資料進行虛假輸出。然後，可以進一步利用這一點在模型中創建可攻擊的漏洞，例如在罪犯資料庫中偽造DNA序列，或者只是產生可能損害目標企業的結果。  

隱私外洩

使用敏感性資料訓練或處理敏感性資料的AI可能會曝露這些資料，無論是透過錯誤（就像幾個主要商業模型所發生的那樣），還是透過針對性攻擊。