運用時のAIは、環境の変化に伴い、その品質が劣化します。Radarはお客様のAIを継続的にモニタリングの上、データドリフトやスキーマエラー、入出力の外れ値等を自動検出しアラートすることが可能です。
運用時のデータにはラベルはついておらず、従来の精度測定方法を用いて、異常を即座に検出することはできません。Radarを活用すれば、ラベル付け無しに、その場で異常を検出し防御することが可能です。
AIの異常を人間が常時監視することは困難です。Radarには、運用時のAIを自動監視し継続的に記録する機能を搭載、EU AI法やISO42001等の法制度・国際標準に対するコンプライアンスを強力にサポートします。
運用時のAIのモデルやデータを、お客様に代わって継続的に監視し、実環境での安定した運用を実現します。
個々の入出力を、一つ一つ瞬時にファイアウォールで自動テストし、AIの異常をアラート・ブロック。また、入出力を時系列や統計的にまとめて処理しモニタリングすることで、データドリフトやモデルドリフトを自動検知します。さまざまな視点から多面的に分析することで、実環境におけるリスクからお客様を防御します。
Radarは、データドリフトやモデルドリフト、データギャップ等、運用時のAIの性能を劣化させ得る環境変化を、お客様に代わって継続的に自動監視し、データセグメント毎に深掘りして捉え、アラートします。
Radarに組み込まれたカスタマイズ可能な複数のファイアウォール機能を使って、学習時には含まれていなかった外れ値等の入出力異常を瞬時に自動検出し、アラート・ブロックします。
Radarでは、全ての入出力の履歴管理を行うことが可能です。コンプライアンスへの適合性を確認するため、過去の履歴に遡って検索し、分析し、監査することができます。
特徴量分析機能を使って、実運用環境下のAIの出力根拠を明らかにした上で、さらに反実仮想分析機能を活用して、深掘りしてシミュレーション分析することで、より確信をもった説明を行うことが可能です。
Citadel AIの採用はサントリーにおける機械学習活用の大きな転機となりました。機械学習を組み込んだシステムの、アジャイルな改善と安定的運用を実現することができ、業務効率を最大化することに成功しました。
高木基成
サントリーシステムテクノロジー株式会社
グローバルシステム部課長
Radarのダッシュボードを通じて、運用中の複数のAIモデルを、一覧してモニタリングすることができます。
これまでの方式では、運用中のAIに対する精度等のメトリクスを計測するためには、人手によるラベル付けが必要であり、問題発見までに時間を要していました。
Radarでは、正解ラベルを付与することなく、ダッシュボードを通じて、モデルやデータ品質を自動でモニタリングし、瞬時に問題を発見することができます。
お客様のAIの入出力ログを自動で記録すると共に、容易にサーチして状態を確認することが可能です。
Citadel Radar は、お客様のAI サーバーの入出力を分析して、データドリフト、外れ値などの問題を自動的に検出します。Radar は正解のラベル付けをすることなく動作するため、AI の品質をリアルタイムで監視できます。
AI モデルの学習時には、正解ラベルとモデル出力を比較し、精度などのメトリクスを計測してモデルを評価します。しかし運用時のデータには正解ラベルが付与されていないため、従来型のメトリクスを用いてAI モデルを即座に評価することはできません。
Radar では、次のような品質メトリクスを監視・テストすることで、正解ラベルを付与することなく異常を即座に自動検出し、AIのパフォーマンスを追跡する独自の技術を採用しています。
正解ラベルを人手作業で別途付与の上Radarにアップロードいただければ、精度やその他の従来のメトリクスを遡及的に算出して表示することも可能です。
Citadel Radar を使用するには、監視するモデルとの接続が必要です。Radar は、リアルタイムのロギング API、リアルタイムのファイアウォール API、バッチアップロードなど、いくつかの方法でお客様のAIモデルと接続することができます。トライアル用に、サンプルモデルとデータセットを提供することも可能です。
お客様のアプリケーションに最適なセットアップについて、いつでもご相談ください。
スタートアップから大企業まで、幅広くご利用いただくことが可能です。お客様のご利用形態や条件によって異なるため、お話をお伺いしたく、是非こちらからコンタクトいただければ幸いです。
デモのご要望やご質問は、こちらまでお寄せ下さい。
