幻覚制御: セキュリティ プロセスの一部として LLM を導入する利点とリスク

大規模な言語モデル 膨大な量のデータでトレーニングされた LLM は、セキュリティ運用チームをよりスマートにすることができます。LLM は、対応、監査、態勢管理などに関するインラインの提案とガイダンスを提供します。ほとんどのセキュリティ チームは、ワークフローの手作業の労力を軽減するために LLM を試したり使用したりしています。これは、日常的なタスクと複雑なタスクの両方に当てはまります。 

たとえば、LLM は、従業員が独自のドキュメントを共有しようとしているかどうかを電子メールで問い合わせ、セキュリティ担当者への推奨とともに応答を処理することができます。また、LLM は、オープン ソース モジュールに対するサプライ チェーン攻撃を探すためのリクエストを翻訳し、特定の条件 (広く使用されているライブラリへの新しい貢献者、不適切なコード パターン) に重点を置いたエージェントを起動するタスクも実行できます。各エージェントは、その特定の条件に合わせて準備されています。 

とはいえ、これらの強力な AI システムには、セキュリティ チームが直面する他のリスクとは異なる重大なリスクが伴います。セキュリティ LLM を強化するモデルは、プロンプト インジェクションやデータ ポイズニングによって侵害される可能性があります。人間による十分な指導がない継続的なフィードバック ループと機械学習アルゴリズムにより、悪意のある攻撃者が制御を調査し、的を絞った対応を誘導する可能性があります。 LLM は、限られた領域であっても幻覚を起こしやすいです。最高の LLM であっても、答えがわからない場合は、それをでっち上げます。 

LLM の使用とワークフローに関するセキュリティ プロセスと AI ポリシーは、これらのシステムがサイバーセキュリティの運用と研究全体でより一般的になるにつれて、より重要になります。これらのプロセスが遵守され、ガバナンス システムで測定および説明されていることを確認することは、CISO がサイバーセキュリティ フレームワーク 2.0 などの新しい要件を満たすために十分な GRC (ガバナンス、リスク、コンプライアンス) を提供できるようにするために不可欠です。 

サイバーセキュリティにおける LLM の大きな約束

CISOとそのチームは、新たなサイバー攻撃の増加に常に対応しようと奮闘しています。Qualysによると、2023年に報告されたCVEの数は過去最高を記録しました。 26,447の新記録。これは 5 年と比べて 2013 倍以上に増加しています。 

平均的な組織の攻撃対象領域が年々拡大するにつれて、この課題はさらに負担が大きくなるばかりです。 AppSec チームは、さらに多くのソフトウェア アプリケーションを保護し、監視する必要があります。クラウド コンピューティング、API、マルチクラウド、仮想化テクノロジーにより、さらに複雑さが増しています。最新の CI/CD ツールとプロセスを使用すると、アプリケーション チームはより多くのコードをより速く、より頻繁に出荷できるようになります。マイクロサービスは、モノリシック アプリを多数の API と攻撃対象領域に分割し、外部サービスや顧客のデバイスと通信するためにグローバル ファイアウォールにさらに多くの穴を開けました。

高度な LLM は、サイバーセキュリティ チームの作業負荷を軽減し、その能力を向上させるという大きな可能性を秘めています。 AI を活用したコーディング ツールは、ソフトウェア開発に広く浸透しています。 Github の調査によると、開発者の 92% がコードの提案と補完に AI ツールを使用している、または使用したことがあることがわかりました。これらの「副操縦」ツールのほとんどには、何らかのセキュリティ機能が備わっています。実際、コーディング (コードは単体テストに合格するか失敗するかのいずれか) など、比較的バイナリな結果を伴うプログラム分野は、LLM に適しています。ソフトウェア開発や CI/CD パイプラインにおけるコード スキャン以外にも、AI は次のようなさまざまな方法でサイバーセキュリティ チームにとって価値があると考えられます。   

• 強化された分析: LLM は、大量のセキュリティ データ (ログ、アラート、脅威インテリジェンス) を処理して、人間には見えないパターンや相関関係を特定できます。彼らはこれを言語を超えて、24 時間、そして多くの次元にわたって同時に行うことができます。これにより、セキュリティ チームに新たな機会が開かれます。 LLM は、ほぼリアルタイムで多数のアラートを焼き払い、最も重大である可能性が高いアラートにフラグを立てることができます。強化学習を通じて、時間の経過とともに分析が改善されるはずです。 
• オートメーション： LLM は、通常は会話のやり取りが必要となるセキュリティ チームのタスクを自動化できます。たとえば、セキュリティ チームが IoC を受け取り、エンドポイントの所有者に実際にデバイスにサインインしたかどうか、または通常の作業ゾーン外の場所にいるかどうかを尋ねる必要がある場合、LLM はこれらの単純な操作を実行して、次の操作を実行できます。必要に応じて質問や、リンクや手順を記載します。これは以前は、IT チームまたはセキュリティ チームのメンバーが自ら行う必要のあるやり取りでした。 LLM は、より高度な機能を提供することもできます。たとえば、Microsoft Copilot for Security はインシデント分析レポートを生成し、複雑なマルウェア コードを自然言語の説明に翻訳できます。 
• 継続的な学習と調整: セキュリティ ポリシーや理解のための以前の機械学習システムとは異なり、LLM は、応答に対する人間の評価を取り込み、内部ログ ファイルに含まれていない可能性のある新しいデータ プールを返すことによって、その場で学習できます。実際、同じ基盤となる基本モデルを使用して、サイバーセキュリティ LLM をさまざまなチームとそのニーズ、ワークフロー、または地域または業種固有のタスクに合わせて調整できます。これは、システム全体が即座にモデルと同じくらいスマートになり、変更がすべてのインターフェイスにわたって迅速に伝播されることも意味します。 

サイバーセキュリティの法学修士課程のリスク

LLM は実績が浅い新しいテクノロジーであるため、重大なリスクを抱えています。さらに悪いことに、LLM の出力は 100% 予測可能またはプログラム的ではないため、これらのリスクの全容を理解することは困難です。たとえば、LLM は「幻覚」を起こし、架空のデータに基づいて答えをでっち上げたり、質問に間違って答えたりすることがあります。サイバーセキュリティのユースケースに LLM を採用する前に、次のような潜在的なリスクを考慮する必要があります。 

• 即時注入:  攻撃者は、誤解を招くような、または有害な出力を生成するために、悪意のあるプロンプトを作成する可能性があります。このタイプの攻撃は、受信したプロンプトに基づいてコンテンツを生成する LLM の傾向を悪用する可能性があります。サイバーセキュリティのユースケースでは、プロンプト インジェクションは、インサイダー攻撃またはモデルの動作を歪めてシステム出力を永続的に変更するためにプロンプ​​トを使用する権限のないユーザーによる攻撃の形態として最も危険である可能性があります。これにより、システムの他のユーザーに対して不正確または無効な出力が生成される場合があります。 
• データポイズニング:  LLM が依存するトレーニング データは意図的に破損され、意思決定が損なわれる可能性があります。サイバーセキュリティ設定では、組織がツールプロバイダーによってトレーニングされたモデルを使用している可能性が高く、特定の顧客やユースケースに合わせてモデルを調整する際にデータポイズニングが発生する可能性があります。ここでのリスクは、権限のないユーザーがトレーニング プロセスを妨害するために不正なデータ (ログ ファイルの破損など) を追加する可能性があります。許可されたユーザーが誤ってこれを行う可能性もあります。その結果、不正なデータに基づいた LLM 出力が生成されます。
• 幻覚: 前述のように、LLM はプロンプトの誤解や根本的なデータ欠陥により、事実に反する、非論理的、または悪意のある応答を生成する可能性があります。サイバーセキュリティのユースケースでは、幻覚により重大なエラーが発生し、脅威インテリジェンス、脆弱性のトリアージと修復などが妨げられる可能性があります。サイバーセキュリティはミッションクリティカルな活動であるため、LLM はこれらのコンテキストで幻覚を管理および防止するためのより高い基準を満たす必要があります。 

AI システムの能力が高まるにつれて、情報セキュリティの導入が急速に拡大しています。誤解のないように言うと、多くのサイバーセキュリティ企業は、動的なフィルタリングにパターン マッチングと機械学習を長い間使用してきました。生成 AI 時代の新しい点は、既存のワークフローとデータ プールの上にインテリジェンスのレイヤーを提供するインタラクティブ LLM であり、サイバーセキュリティ チームの効率を改善し、機能を強化するのに最適です。言い換えれば、GenAI はセキュリティ エンジニアがより少ない労力と同じリソースでより多くのことを実現できるように支援し、パフォーマンスを向上させ、プロセスを加速します。