生成AIは同じ入力でも出力が変わる確率論的なシステムです。ハルシネーション・有害回答・ジェイルブレイクによる不適切な出力は従来のテスト手法では捉えられず、評価には高度な専門性と手間がかかります。さらに生成AIやRAGアプリの参照データは頻繁に更新され、そのたびに品質を人手で検証し続けるのは現実的ではありません。
加えて、AI事業者ガイドラインやEU AI法など国内外の法制度・国際標準への対応も不可欠です。リスクを客観的な基準で定量評価し、根拠を証跡として残す仕組みが求められています。
ソースと回答の一貫性、質問と回答の関連性、有害性、ジェイルブレイク検知など、生成AI特有のリスクを評価する自動メトリクスを標準搭載。安全性・公平性・知的財産・個人情報漏えいなど11カテゴリーの「Lensセーフティ・データセット」で、日本語の文脈に即した網羅的な評価と高い検出率を実現します。
対外公開したチャットボットは、ジェイルブレイクなどの攻撃に日々さらされます。Citadel Lensは、攻撃者の視点でアプリケーションを検証する自動レッドチーム機能を搭載。専門チームに頼らず、セキュリティ検証を実施できます。
生成AIのリスクは、アプリケーションの用途とセットで考える必要があります。テンプレートを使って独自の評価指標を手軽に構築できる「カスタムメトリクス」と、現場の知見を反映する「人手アノテーション」により、自動評価と人間の評価軸を組み合わせたダブルチェック(Human-in-the-Loop)を実現します。
Citadel Lensは、生成AIアプリケーションに加えて、画像認識などの機械学習モデルの品質評価にも対応しています。予測の可視化と説明、堅牢性のストレステスト、モデルとデータセットのバイアスの発見といったテストを自動実行し、ISO規格に準拠したレポートも生成。BSI(英国規格協会)によるEU AI法の適合性審査や、AIの安全性評価にも活用されています。
カメラ・環境・位置による歪み(ノイズやコントラスト変化など)を加えた合成テストデータを自動生成し、画質劣化などに対するモデルの堅牢性を測定します。
エラー率の高いデータセグメントを自動的に検出し、モデルとデータセットのバイアスを発見。「どのセグメントで精度が落ちるか」が一目でわかります。
Citadel Lensには、品質改善の高速化を実現する技術検証レポート機能に加え、EU AI法AIに関わる法制度や国際標準に対する適合性診断レポート機能も備えています。AIアプリケーションを開発するエンジニアの皆様と、コンプライアンス部門の皆様の、共通のプラットフォームとしてご利用いただくことが可能です。
Citadel Lensは、評価を担うEvaluation(評価機能)と審査を担うGovernance(ガバナンス機能)で構成されます。EvaluationがAIシステムの評価・テストを実施し、Governanceが導入前の審査プロセスを構築することで、組織的な承認プロセス・管理システムを実現。さらにCitadel Radarの本番モニタリングの知見をCitadel Lensのテスト設計に還流させることで、「事前検証 → 本番監視 → 改善」の継続的なループを形成し、生成AIのライフサイクル全体を一気通貫でサポートします。
AIセーフティガイドラインや各種フレームワークを参照して設計されたビルトインメトリクスにより、曖昧になりがちな「AIの安全性」を構造的に評価。日本のAI事業者ガイドラインを実装しています。
金融業界で初めてCitadel LensによるAIガバナンスを本格導入。国内グループ全体でAIモデルの企画から運用までのリスクを可視化し、品質を自動監視。
製薬業界で初めてCitadel Lensを本格展開。生成AI活用における回答品質やハルシネーション・セキュリティのリスクを検証し、安全・安心な業務改革を支援。
国際規格開発と認証をリードするBSIが、世界54社のスタートアップからCitadel製品を選定。ハイリスクAIの審査ツールとして採用。
Citadel Lensは、生成AI(LLM)モデルと画像認識などの機械学習モデルの品質とリスクを定量的に評価・テストするプラットフォームです。自動評価と人手評価を融合させた独自技術により、ハルシネーション・有害回答・ジェイルブレイクなどのリスクをリリース前に可視化し、リリース後も継続的にモニタリングできます。また、Citadel Lens Governance（ガバナンス機能）によって、導入前審査プロセスとAI資産のインベントリ管理も直感的かつシンプルなUIを通じて統一的に実現します。
ソースと回答の一貫性(ハルシネーション)、質問と回答の関連性、有害性、ジェイルブレイク検知など、多言語対応のビルトインメトリクスを標準搭載しています。さらに安全性・公平性・知的財産・個人情報漏えいなど11カテゴリーで構成されるLensセーフティ・データセットにより、網羅的なリスク評価が可能です。
はい。日本語を含む多言語での評価に対応しています。日本語のニュアンスや日本固有の商習慣・文化的文脈を考慮した国産のセーフティ・データセットを内蔵しており、日本語ベースのリスク管理を実現します。
はい。カスタムメトリクス機能により、テンプレートを使ってお客様固有の評価指標を手軽に構築できます。プログラミングでは定義しにくい抽象的な評価軸も、プロンプトで定義して定量的な指標として自動実行できます。
Citadel Lensは自動評価に加えて、人手によるアノテーション(Human-in-the-Loop)機能を備えています。現場部門の知見を少量のアノテーションで反映し、自動評価結果をダブルチェックすることで、評価の信頼性を高める設計になっています。
はい。21種類の自動レッドチーム機能を搭載しています。ジェイルブレイクプロンプトの自動生成、敵対的データセットの生成、同義語・属性置換などのデータ拡張により、お客様自身でセキュリティ・堅牢性の検証を実施できます。
依存しません。Citadel LensはAIモデルやアプリケーションに依存しない統一的なテストを汎用的に適用できます。SaaSに加え、お客様管理のクラウド(IaaS)やオンプレミス環境への導入にも対応しています。
デモのご依頼を受け付けています。
