2026年7月、国立研究開発法人産業技術総合研究所（産総研）が主催するシンポジウム「8th Grand Canvas : AI品質の未来を共に描く」が開催されました。 NEDOが共催し、AIセーフティ・インスティテュート（AISI）が後援する、AI品質管理に取り組む事業者間のネットワーキングを目的とした恒例のイベントです。 今回は「フィジカルAIのセーフティ」をテーマとした講演とパネルディスカッションに加え、AI品質に関わる企業によるショートトークセッションが行われました。
Citadel AIからは、リサーチチームの杉山阿聖が「AIエージェントシステムを用いた組織的な学習への取り組み」と題して発表しました。 本記事では、発表の内容を紹介します。
発表の背景にある生産性パラドックス
AIエージェントで組織の業務を代替する取り組みが注目を集めています。 今回の発表はその逆で、AIエージェントによって組織の側に変革をもたらせないか、というテーマです。
背景にはAIの生産性パラドックスと呼ぶべき現象があります。 コーディングエージェントの普及により、個人の生産性は目に見えて向上しました。 一方で、組織全体が変わったと言える企業はまだ少数です。 国内のある先進企業では、AI活用によって法務チェックなどソフトウェア開発以外の業務も速くなったものの、捻出された時間がこれまで放置していた業務の消化に流れ、事業全体へのインパクトにはつながらなかったと報告されています。
適用領域の偏りにも課題があります。 コーディングエージェントは設計、実装、運用といった下流の工程では大きな力を発揮します。 しかし、どのような価値を顧客に提供すべきかを考える企画などの上流プロセスでは、組織が学習する仕組みづくりがまだ進んでいません。
Citadel AIリサーチチームは昨年度の研究成果において、業務の専門家が持つ知識を明文化し、チームとして学習することが生成AI活用の成否を左右すると提唱してきました。 今回の発表は、この仮説を自社で検証した実践報告です。
お客さまAIとの模擬商談による組織学習
取り組みの中心となるアイデアは次の通りです。
” 顧客と、自社のドメインエキスパートをそれぞれエージェントとして再現し、両者に打ち合わせをさせる。 その様子を人間が観察することで、人間の側が学習する。”
エージェントの作成にあたっては段階的なアプローチを採用しました。第1段階では、質問項目のテンプレートを埋める形で、顧客を模したエージェント（お客さまAI）を構築しました。 この段階で一度テストを行い、動作に問題がないことを確認しました。
第2段階では、「お客さまAI」と、自社のプロダクトを提案する提案側AIからなるマルチエージェントシステムを構築しました。 両者に対談を行わせたところ、商談を模倣するふるまいが確認でき、ある程度現実を模したシミュレーションになっていることが確認されました。
このような準備のもとで、「お客さまAI」と「提案側AI」が模擬商談を行い、その様子をエンジニアが観察することで、有益な示唆が得られるかどうか、実験を行い結果を分析しました。
実験から得られた2つの結果
ドメイン知識と提案品質の関係
提案側AIとして、2種類のエージェントを用意して提案品質を比較しました。
- ベースライン：自社パンフレットの知識のみを持つ
- ドメイン知識あり：パンフレットに加えて、自社の業務ドメインであるAIガバナンスの知識を持つ
数件の試行の範囲では、ドメイン知識を持つエージェントの方が提案品質は高くなりました。 業務ドメインの知識を明文化して与えることが、AIの出力の質を左右することを示唆する結果です。
模擬商談の観察による顧客理解
Citadel AIには外国籍のエンジニアが多く在籍する一方、お客さまは日本の大企業が中心です。 日本の商習慣や、顧客がどのように話すのかは、エンジニアにとって掴みにくいものでした。
模擬商談を観察したエンジニアからは、「単にエンジニアとして働くのではなく、プロダクトエンジニアとして働くためには顧客の状況の深い理解が必要だ。顧客の置かれていた状況を理解するうえでとても役に立った」という声が寄せられました。 新入社員からも、提案の進め方を学べたという反応がありました。 社歴の浅い営業メンバーの顧客理解が進んだことも確認でき、個人レベルの学習という当初の狙いは実現できたと評価しています。
今後の取り組み
今後は、個人の学習を組織としての学習につなげるため、次に検証すべき仮説を提案し、行動を促すマルチエージェントシステムへと拡張を進めています。 エージェント数は2体から20体規模に増える見込みです。
一方で、規模の拡大に伴う課題も見えています。 エージェント同士の対話が終了せずに続き、回答までにあまりにも時間がかかってしまう事象や、トークン消費量が急増する事象がすでに観測されています。また、AI の提案した内容を検証すべき仮説と考えるのではなく、実行すべき行動計画と捉えてしまわないよう、運用における対策も検討が必要です。このようなマルチエージェントシステムの安全性を担保する方法についても今後取り組んでいきます。
おわりに
Citadel AIは、LLMの評価、ガードレール、AIガバナンス支援のプロダクトを提供するとともに、リサーチチームは2025年度のNEDO事業「AIの安全性確保に関する研究開発・検証等の推進事業／AIセーフティ強化に関する研究開発」を産業技術総合研究所・株式会社コーピーと共同して推進したとともに、現在もAIセーフティの評価技術と、実務に適用できるガイドラインの整備に取り組んでいます。
AIシステムの品質・リスク評価やAIガバナンスに関するご相談は、[お問い合わせフォーム]からご連絡ください。
