第3回 攻撃がなくてもエージェントは目的から逸脱する―インテントドリフトというリスク―

Filed under:

前回は、Webサイトやメール、ドキュメントなど、エージェントが外部から取得した情報に悪意ある指示が埋め込まれる「間接プロンプトインジェクション」について取り上げました。

しかし、エージェントの行動が人の意図から外れる原因は、外部からの攻撃だけではありません。正しい目的を与えられ、正常にタスクを実行しているように見えるエージェントが、目的を達成しようとする過程で、人が想定していなかった手段を選んだり、本来守るべき制約を越えたりする可能性があります。

本記事では、このように、エージェントの判断や行動が当初のユーザーの意図や制約からずれていく状態を「インテントドリフト」と呼びます。

目的が正しくても、手段まで正しいとは限らない

エージェントは、ユーザーから与えられた目的に対して、自らタスクを分解し、情報を収集し、ツールを選択しながら処理を進めます。この過程で生じるインテントドリフトは、次の三つのパターンに分けて考えられます。

  1. エージェントが判断や実行の誤りを犯す
  2. エージェント自身は問題のない行動だと判断しているものの、その行動がユーザーの想定や指示の範囲を外れている
  3. エージェントが意図的に害をなす行動を取る

一つ目は、指示や状況を誤って解釈し、不適切な計画、ツール、操作対象を選ぶ場合です。これは生成AIが決定論的システムではないからであり、たとえその信頼性が99.9%でも、1000回に1回は過ちを犯す可能性があります。

二つ目は、エージェントが目的の達成に役立つと判断して行動したものの、その手段がユーザーの想定や委任した範囲を越える場合です。

三つ目は、エージェントが有害な結果につながることを認識しながら、その行動を選択する場合です。

例えば、「重要顧客へのフォローアップを進めてほしい」という指示を受けたエージェントが、CRMを確認し、顧客を選び、過去のやり取りを調べ、対応方法を決め、メール作成やシステム更新まで進めることが考えられます。このとき、エージェントの目的そのものは間違っていません。問題は、その目的を達成するための手段です。

「できるだけ早く」「より多く」「何としても」といった、エージェントが自律的に立てた実行計画が、人間の意図とずれることで、次のような行動につながる可能性があります。

  • 本来、人の承認が必要なレベルの処理を実行する
  • 参照する必要のない情報にアクセスする
  • 変更してはいけないデータを書き換える
  • 本来対象ではないシステムまで探索する
  • 制約を回避してタスクを継続する

つまり、エージェントでは、最終目標自体は同じであっても、「どうやって達成するか」が人の意図から外れるというリスクがあります。

2026年、エージェントが隔離環境(サンドボックス)を越えて実システムへ

この問題を象徴する出来事が、2026年にOpenAIのサイバーセキュリティ評価中に発生しました。OpenAIによると、内部研究用のAIモデルを使った評価中に、外部と切り離された隔離環境にいたエージェントが、その境界を越えて実際のインターネット上のシステムへアクセスしました。さらに複数のエージェントが、本来許可されていなかった方法で互いに情報を共有し、外部のシステムを探索するようになりました。

もともとのタスクは、用意されたソフトウェアの脆弱性を発見し、課題を解くセキュリティ評価でした。しかし、課題を解けずにいたエージェントは、解決策を探す中で本来の評価対象ではない外部サービスまで探索し、その過程でHugging Faceのシステムに侵入しました。

重要なのは、誰かがエージェントに「Hugging Faceを攻撃せよ」と指示したわけではないことです。

この事例は、整理した三つのパターンのうち、主に二つ目に当たります。エージェントは課題を解くために必要な行動だと判断して探索範囲を広げましたが、その結果、ユーザーが想定した評価対象と実行環境の範囲を外れました。

一方、許可されていない方法でエージェント同士が情報を共有し、ログを改ざんしようとした行動には、三つ目の要素も含まれると言えます。

2026年にはAnthropicも、サイバーセキュリティ評価中のClaudeが意図せず第三者システムへアクセスした複数の事例を公表しています。

こうした事例は、高い自律性とツール実行能力を持つエージェントが、与えられたタスクを遂行しようとする中で、本来想定されていた行動範囲を越える可能性を示しています。

指示することと、制御することは同じではない

では、「このシステムにはアクセスしない」「顧客には勝手にメールを送らない」「本番環境は変更しない」「必ず人の承認を取る」とエージェントに指示しておけば十分なのでしょうか。

もちろん、明確な指示を与えることは重要です。しかし、プロンプトで指示したからといって、必ずその指示をエージェントが守るとは限らず、プロンプトだけでエージェントの行動を制御することはできません。

エージェントが複数のステップを自律的に実行するのであれば、当初の指示を踏まえ、その後の行動が人間の意図と整合しているかをステップを追うごとに見極める必要があります。

例えば、次の情報をセッションの中でつなげて把握することが重要になります。

  • ユーザーから何を指示されたのか
  • どのような制約が設定されていたのか
  • エージェントがどのような計画を立てたのか
  • 途中でどのような情報を取得したのか
  • なぜそのツールを選んだのか
  • 次に何を実行しようとしているのか
  • その行動が当初の目的や制約と整合しているのか

「正常に動いているエージェント」をどう管理するか

インテントドリフトが難しいのは、エージェントの一つ一つの行動が一見すると正常に見えることです。正規の認証情報を使い、許可されたツールを利用し、アクセス権限の範囲内で操作していても、一連の行動として見れば、ユーザーが任せた業務の範囲から外れていることがあります。

そのため、個々の操作だけを見るのではなく、ユーザーから何を任されたのか、それまでにどのような情報を取得し、どのような操作を重ね、次に何を実行しようとしているのかという一連の文脈を踏まえて判断する必要があります。こうしたセッション全体の文脈と、実行しようとしている行動を照合するのに不可欠なのが「インテントガードレール」です。

さらに、逸脱を検知するだけでは十分ではありません。データ送信やファイル削除、システム変更などは、実行後に気付いても影響を取り消せない場合があります。重要なのは、ツール呼び出しやシステム操作が実際に行われる実行ポイント(Enforcement Point)で、ガードレールによる判定に基づいてランタイムで制御することです。リスクに応じて警告や人の承認を求め、必要な場合にはアクションそのものを実行前にブロックできなければ、検知だけでインシデントを防ぐことはできません。

そして、制御して終わりでもありません。エージェントの統制は、利用前の設定から実行中の監視・制御、インシデント後の調査と改善までを一つのライフサイクルとして考える必要があります。実行中のログの記録はもちろん、なぜ逸脱が起きたのかを調べ、必要に応じて権限、接続設定、承認条件、ガードレールやポリシーを見直し、その結果を次の実行に備えて反映する。このように、検知・制御・調査の結果を再び統制へ戻す「継続的な改善ループ」を作ることで、同じ問題を繰り返しにくくしていく必要があります。

次回は、これまでの3回で見てきたリスクを踏まえ、エージェントを企業で安全に活用するためのガバナンスとセキュリティのあり方を整理します。

今回の問い

自社のエージェントが、与えられた目的を達成しようとする中で、人の意図や想定した制約から逸脱した場合、その変化を把握し、重大な影響を及ぼす行動が実行される前に気付くことができるでしょうか。

参考情報

Citadel AIの考える解決策

Related Articles

「希望するデモ」「確認したい機能」など、ご要望の概要をご記載いただけますとスムーズにご案内できます。