AI時代の防衛戦、次世代ファイアウォール提供開始

攻めと守りを一元管理、ユースケースに即したAIセーフティを実現

株式会社Citadel AI（本社：東京都渋谷区、代表取締役：小林裕宜）は、生成AIの入出力をユースケースに応じて高精度で自動フィルタリングする「Lensカスタムファイアウォール」の提供を開始します。

業務に精通したドメインエキスパートによる常時監視と同等レベルの安全性を、検証段階のみならず運用段階においても実現、AIに起因するセキュリティリスクやレピュテーションリスクからお客様を守り、経営基盤の強化をサポートします。

今求められる生成AI向けファイアーウォールとその課題

さまざまなAIが、企業の経営部門、研究部門、製造ライン、営業、コンタクトセンターなど、複数の現場で導入され始めています。AIを積極的に導入し、経営力を強化する動きが進む一方で、そのセキュリティリスクやレピュテーションリスクから、いかに企業を守るかという「攻めと守り」のバランスが非常に重要になっています。

大規模言語モデル（LLM）の利用にあたっては、 有害な入出力や悪意のある攻撃、あるいは個人情報漏えい等を防ぐために、各種のコンテンツフィルターやガードレールが提供されています。

しかしながら、企業で実際に利用されるLLMアプリケーションについては、社内規定やマニュアル、顧客データベースなど、一般公開していない情報や、業界特有の業法などに基づいた応答が求められるケースも数多く存在します。こうした場合、汎用的なコンテンツフィルターやガードレールでは十分対応できず、適切な制御が難しくなることがあります。

この結果、過剰な検出（オーバーブロッキング）や検出漏れ（アンダーブロッキング）が生じ、利便性や安全性が大きく損なわれてしまったり、ユースケースごとに異なる公平性やセキュリティの定義に柔軟に対応できないといった問題が発生します。さらに、日本語のコンテンツに対して、期待される精度やサービス品質が出せないこともあります。

例えばコンプライアンスにかかわる問題や健康にかかわる回答など、アプリケーションやサービスの内容によって「どこまで答えるべきなのか、答えないべきなのか」が変わるため、一律のフィルターやガードレールでは対応が困難です。

ユースケースごとにカスタマイズされた高精度の次世代ファイアウォール

当社ツールCitadel Lensでは、生成AIシステムの検証を行う際、お客さまごとのユースケースにあわせたカスタムメトリクス（オーダーメイドの評価指標）を簡単にチューニングした上で、評価レポートを作成することができます。

あらかじめ定められた指標で、すべてのユースケースを一律に評価しようとするのではなく、各業務に精通したドメインエキスパートの人間の目線に、システムの方を合わせに行くことで、高精度な自動評価を実現するというアプローチです。 

今回このカスタムメトリクスの強みをさらに拡張し、その強みを運用段階にも最大限に活かした「Lensカスタムファイアウォール」の提供を開始します。

まずは、Citadel AIの独自技術「Metric Generator」を導入し、これまで手作業で作成していたカスタムメトリクスの作成を自動化します。これによりお客さまの検証段階の手間を大幅に削減することが可能になります。

さらに、このカスタムメトリクスを、検証段階だけでなく、運用時のフィルタリングにもシームレスに適用できる「Lensカスタムファイアウォール」を新たにリリースします。これにより、業務に精通したドメインエキスパートが、常時監視しているのと同等レベルの安全性を、運用段階においても、自動かつ継続的に実現します。オーバーブロッキングやアンダーブロッキングを避けながら、安全・安心なAI活用を推進します。

日本語テキストにも万全に対応、AIに起因するセキュリティリスクやレピュテーションリスクを、ユースケースに応じてきめ細かく識別し対処する「次世代ファイアウォール」です。お客さまの環境に最適な形でリスクをコントロールし、攻めと守りの両面から、経営基盤の強化をサポートします。

Lensカスタムファイアウォールの機能

• Citadel AIの独自技術「Metric Generator」を導入し、これまで手作業で作成していたカスタムメトリクスの作成を自動化
• Lens上で作成したカスタムメトリクスを、ファイアウォールのフィルターとしてシームレスに適用、検証時のみならず運用段階についても高精度の安全性を実現
• 個々の入出力のフィルタリングのタイミングをAPI経由で任意に設定
• Lensの UI上で詳細なガードレールルールを自由にカスタマイズ
• フィルタリング結果をログとして蓄積、Lensを用いた事後の詳細分析が可能
• フィルタリング結果に対する根拠・説明をわかりやすい言葉で提示
• フィルタリングのタイミング並びに手法を、非同期・同期、あるいはLLMベース・ロジックベースで切り替えることで、用途に応じてレスポンス時間を制御

【関連情報】

• AIの品質検証で経営力を強化、Eval Insight 提供開始

【株式会社Citadel AIについて】

Citadel AIは「信頼できるAI」の社会実装を実現する、日本発のグローバルスタートアップです。ハイリスクAIの課題と実戦で闘って来た世界のエンジニアが結集し、開発をリードしています。弊社製品は、AIのモデルやフォーマットに依存することなく、統一化されたテストを、汎用的に適用することが可能です。国際標準業界を代表するBSI等に採用され、グローバル市場で高い評価をいただいています。