人工知能と
デジタルトラスト

アイデンティティの不正操作

生成 AI は、超リアルな画像や映像を数秒で生成でき、それどころか生成されたライブ映像を改ざんすることもできます。そうなると、各種の重要システムに対する信頼性が損なわれます。顔認識ソフトウェアから、法制度における証拠映像、政治的な虚報に至るまで、事実上あらゆる形態の視覚的アイデンティティに対する信頼が失墜しかねません。 

破壊力抜群のフィッシング攻撃

攻撃者は生成 AI ツールを使って、顔、声、文体をリアルにシミュレートできるほか、企業やブランドのアイデンティティをエミュレートすることもできます。さらにそれを利用すれば、実行性が高く検知の難しいフィッシング攻撃につながる恐れがあります。

プロンプトインジェクション

多くの組織は既製の生成 AI モデルを使用しているので、インスタンスのトレーニングやプロンプトの指定に使う情報は、攻撃者が人気のモデルを狙って改変したインジェクション攻撃にさらされる恐れがあります。厳重な安全対策を講じたうえで、頻繁にそれを更新しない限り、基本モデルに対するエクスプロイトによって、そのモデルを使用しているどの組織も危険にさらされかねません。  

機械のハルシネーション

AI は一般的に、説得力のある音声やテキストを高速で生成できますが、必ずしも正確とは限りません。これは、ユーザー向けの情報提供やサポートコンテンツの生成に AI を利用している組織や、脅威検知に機械学習を利用している組織にとって特に問題となります。異常な結果がコストを大きく増やしかねないからです。 

攻撃の高度化

AI は超人的なスピードで機能するコードを書けるため、かつてないスピードと複雑さを備えた攻撃を拡大できる可能性があります。そのうえ、AI は危殆化したコードベースの脆弱性を検出するために使用される恐れもあり、参入障壁を下げることによって攻撃者の範囲を拡大するかもしれません。  

カスタムマルウェア

利用者の多い LLM には、ユーザーが悪意のあるコードを作成するのを防ぐセーフガードがありますが、攻撃者が巧妙ならエクスプロイトや抜け穴を見つけることもできます。モデルが盗まれたりコピーされたりすれば、そうしたセーフガードを除去できるため、悪意のある攻撃者は、高度にカスタマイズ可能で検出もほとんどされないエクスプロイトを短時間で生成できます。 

データの汚染

攻撃には、必ずしも AI 自体を悪用する必要はありません。代わりに、機械学習モデルのトレーニングに使われるデータを狙い、出力を偽装することもできます。これをさらに活用すれば、犯罪者データベースの DNA 配列を改ざんするなど、モデル自体にエクスプロイトを作成することもできますし、単に標的となった組織に損害を与えるような結果を出したりすることも可能です。  

プライバシーの漏えい

AI が機密データを使ってトレーニングされ、機密データを扱う場合には、一部の大手商用モデルで実際に発生したようなバグによって、あるいは標的型攻撃によって、そのデータが漏えいする可能性があります。