はじめに
AI システムは、質問に答えるだけの「対話型AI」から、データを参照し、外部サービスと連携し、業務を遂行するまでを担う「自律型AIエージェント」へと変わりつつあります。
従来のITシステムは、あらかじめ定めた条件と手順に沿って処理を実行する、決定論的な仕組みを基本としてきました。これに対し、AI エージェントは、自律性と非決定性という二つの性質を持ちます。自律性とは、与えられた目的とその時点の状況に応じて、参照するデータ、使うツール、実行手順、操作対象をAIエージェントが主体的に選ぶ性質です。
この自律性によって、企業は、状況に応じた判断が求められる非定型業務や、従来は自動化が難しかった個別性の高い業務まで、AI エージェントへ任せることが可能になり、利便性が飛躍的に高まります。その一方で、AI エージェントは非決定論的な生成AIを基盤としているため、同じ入力で指示した場合であっても、エージェントが取り得るアクションやその出力が、期待していたものとは異なる結果となってしまう可能性を秘めています。自律性と非決定性が組み合わさることで、エージェントの行動や結果を事前に予測することは、従来にも増して難しくなります。
企業が仕事と権限をAI エージェントへ委ねても、その行動の結果に対する責任は企業に残ります。いかにリスクを抑えつつ、AI エージェントを最大限活用する仕組みを構築できるかが、今後の企業経営の鍵となります。
必要なのは、AI エージェントの特性に即した動的なセキュリティ対策とガバナンスです。
「どのエージェントが、誰の責任と権限で、何を実行しているのか、それが本来の目的に適っているのか」を可視化し、リスクの高いアクションを制御する仕組みが求められます。
Citadel AIは、この変化に直面するAIの導入・運用に関わる皆さまが、共通の視点で安心してAI エージェントの利活用を進めていただけるよう、AI エージェントのセキュリティとガバナンスを扱う全4回のシリーズを公開します。
各回では、企業を舞台にした架空のケースを通じて、エージェントに仕事と権限を委ねたとき、従来の静的な管理手法では、どこに説明責任（アカウンタビリティ）や制御の空白が生まれるかを具体的に示します。
各回の終わりには、AI エージェントを安全に使うための「今回の問い」を置きます。これは読者の皆さまの理解度を試す設問ではありません。「自社では誰が答えを持つのか」「必要な情報がつながって管理できているか」「現状のポリシー、技術対策では何がカバーできていないか」を関係部門で確認し、次の意思決定を始めるための問いです。
そのAI エージェントは、誰の権限で何をしているのか
ある企業のリスク管理部門が、「社内で動いているAI エージェントを一覧にしてほしい」と関連部門へ依頼しました。
IT部門は、全社契約しているAI サービスの利用者一覧を提出しました。
営業部門は、CRMに内蔵されたエージェントと、部門契約した提案作成エージェントを報告しました。
開発部門からは、自社で作ったエージェントが複数あると回答がありました。
契約しているサービスは分かりやすいです。
しかし、各部門から集まったベンダー名、エージェント名、基本情報を並べても、リスク管理部門は、社内のエージェントを十分に把握できたとは言えませんでした。
チャットボットとエージェントの境界
従来型のチャットボットでも、あらかじめ設定された処理を通じて、CRMの情報を検索したり、部分的にレコードを更新したりすることはできました。ただし、実行できる処理や会話の流れは、システム設計者が事前に定めた範囲に限られていました。
自律型AI エージェントは、利用者から与えられた目的や権限、取得した情報をもとに、必要なツールと操作を自ら状況に応じて選び、複数の処理を続けて実行します。さらに、その出力には上述したように非決定性が伴います。
この違いによって、人間の指示とエージェントの実際のアクションの間にズレが生じた場合、その乖離がCRMの更新や顧客への連絡など、複数の業務処理へと大きく波及・連鎖するリスクが生じます。
一つのアプリの中に、異なる仕事が生まれる
同じ営業支援サービスでも、ある担当者は公開情報だけを使って市場調査を行います。
別の担当者はCRMを接続し、顧客別の提案を作ります。
別のチームは、案件ステータスを更新し、定型メールを送るところまで任せます。
製品名は同じでも、扱うデータ、利用する権限、失敗した場合の影響は異なります。「このアプリを許可したか」という従来の管理単位と、「このエージェントへ何を任せ、何を実行したか」という実際のリスク単位は異なります。
エージェント専用のフレームワークではありませんが、NIST AI RMF 1.0は、AI システムのインベントリ、利用目的、役割と責任、稼働後の継続監視を、ライフサイクル全体のリスク管理項目として挙げています。エージェントでは、静的なエージェント名の一覧だけでなく、少なくとも次の関係を把握する必要があります。
- エージェントの所有者
- エージェントの利用者
- エージェントへ与えた業務目的
- トリガー（誰（何）がエージェントを起動できるか)
- 接続したデータとツール
- 使用する認証情報と権限
- 人の承認なしに実行できる行動
- 実際に行ったアクション
エージェントを数えるだけでは足りません。
誰が、何を、どの条件で任せ、その結果エージェントがどのようなアクションを取ろうとしたのかまでつながって、初めて自律型エージェントに対する適切な管理が可能になります。
IAM、DLP、SIEMで見えるもの
たとえば、営業担当者がエージェントに、CRMから顧客情報を取得し、提案書を作成して社外へ送る仕事を任せたとします。
IAM （Identity and Access Management、いわゆる「ID・アクセス管理ツール」）は、利用者とサービスの認証や権限管理を担います。
DLP （Data Loss Prevention、いわゆる「情報漏えい防止ツール」）は、定義された機密情報の持ち出しを検知し、制御します。
SIEM (Security Information and Event Management、いわゆる「セキュリティ情報およびイベント管理ツール」)は、各システムからログを集め、システム運用における調査や検知に役立てます。
従来のIAM、DLP、SIEMは、主として人やアプリケーションを管理単位とし、システムが事前に定義された権限やルールに従って動くことを前提としてきました。これらの統制は、エージェントを利用する場合にも引き続き必要です。しかし、これらは自律型エージェントの動的な振る舞いを想定して設計されたものではありません。
エージェントを管理するには、システムごとに残るアクセスやイベントを個別に確認するだけでは足りません。利用者がエージェントに任せた業務と、エージェントが実際にとった行動を結びつけ、その行動の妥当性まで把握し、評価する必要があります。
その関係が見えなければ、CRMへのアクセス記録を見つけても、その操作の目的や妥当性はすぐに説明できません。
そのため、各エージェントの責任者と業務目的を明らかにしたうえで、利用者ごと、タスクごとに動く実行単位（セッション）について、どのデータにアクセスし、どのツール・スキルを使い、何を実行し、その行動が適切だったかまで継続的に追える仕組みが求められます。
今回の問い
自社で影響が大きいエージェントを挙げ、それぞれの責任者、任せている業務、接続先のツールやデータ、付与された権限を把握したうえで、実際に何を行い、その行動が任せた業務に照らして適切だったかまで説明できるでしょうか。
参考情報
