Citadel AI では新たにModel CardとData Cardを Citadel Lens 上でリリースしました。Model CardとData Cardは、開発者がAIシステムのモデルとデータセットの情報を、最新かつ正確に記録し管理する上で、非常に便利なツールです。今回のリリースは、Citadel Lensのこれまでの定量評価レポート機能に加え、定性評価レポート機能をさらに拡充するものです。
Model CardとData Cardは、Google や Microsoft の画期的な研究を通じて提唱されてきたものであり、オープンソースシステムのドキュメント管理という面では普及しています。一方で、企業組織内の多くの内部モデルやデータセットについては、使い勝手の良いツールが見当たらないこともあり、ドキュメト化が不十分なまま残されてしまっているケースも多いのではないでしょうか？
技術的な文書のドキュメント化は、EUのAI法 や、ISO 42001 や日本のAI 事業者ガイドラインなど、基本的に全ての AI ガバナンスフレームワークの重要な要件となっており、多くの組織が AI プロジェクトのインベントリにModel CardとData Cardの採用を検討し始めています。
Model Card と Data Card は、今後Citadel AIが企業の皆さまに提供していく、AI システムに関するプロセスマネジメントのための第一弾のツールです。生成AIや機械学習モデルに対する、従来からの包括的な定量評価機能に加え、定性評価機能を強化することで、モデルに関わるドキュメントの一元管理を、Citadel Lens上で手軽に実現することができるようになります。
Citadel Model Card
Citadel Model Card は、AI モデルの開発プロセス、運用要件、および実際に利用されるユーザー向けのガイダンスなど、AI モデルに関する主要な情報を含む単一のレポートとしてデザインされています。
Model Cardを作成するには、対象のモデルとデータセットを Citadel Lens に接続します。その後、Lens は自動的に以下の処理を行います：
- モデルの定量的パフォーマンスメトリクスの評価
- モデルのトレーニング・データセットとテスト・データセットに関する定量的メトリクスの生成
- モデルとデータセットの技術仕様の記録
- その他のドキュメントを記入するための使いやすいテンプレートの提供
Citadel Model CardとData Cardは、社内のさまざまなモデルやデータセットの進捗やステータスを詳細かつ正確に文書化・共有するための重要な基盤を提供します。これにより、すべての関係者が一元的に管理しやすいレポート環境を持ち、情報の記入から共有までのプロセスを効率的かつ効果的に進めることができます。
浜口悠貴 サントリーシステムテクノロジー株式会社ソフトウェアエンジニア
Citadel Data Card
Citadel Data Cardは、データセットの入手方法、含まれる機密データ・機微データの種類、モデル開発にかかわる利用シーンを想定したガイダンスなど、データセットのライフサイクル全体を通じた重要な情報を提供できるようにデザインされています。
データセットは、その形式、構成、使用目的によって大きく異なります。そのため、Data Cardフォーマットは、ほとんどのユースケースをカバーするのに十分な汎用性と、AI開発者やユーザーの個別情報を把握するのに十分な特殊性のバランスを取るように設計されています。
現在、AI インベントリにかかわるリスク評価や影響評価など、他の重要な要素をサポートするために Citadel Lens の機能をさらに拡充中です。Citadel Lens が AI モデルやデータセットのドキュメント化にどのように役立つか、当社の AI エキスパートチームにいつでもお問い合わせください。
