株式会社Citadel AI(本社:東京都渋谷区、代表取締役:小林裕宜)は、生成AIの安全安心な運用を実現するための「Lens セーフティ・データセット」の提供を開始します。企業の皆さまが生成AIを導入するにあたって、事前審査やシステム改善を進める上で、基本となる重要なデータセットを取りそろえました。
AIガバナンスの構築は喫緊の経営課題
AIの導入は今や経営部門・研究開発・製造・営業・コンタクトセンターといった、企業のあらゆる現場に広がりつつあります。
AIを積極的に活用すると同時に、そのセキュリティリスクやレピュテーションリスクから、いかに会社を守るかという「攻めと守り」のバランスが非常に重要です。AIガバナンス体制の構築に向けた検討が、大手企業を中心に急速に進んでいます。
EU AI法や、日本のAI事業者ガイドライン、AIセーフティに関する評価観点ガイドなど、AIシステムに対する国内外の法規制やガイドラインへの対応も必要になります。
安全安心な信頼できるAIを実現することは、社内のみならず、社外のお客さまやステークホルダーからも求められる、喫緊の経営課題です。
組織的なマネジメント体制構築と同時に、システムごとの定量評価が重要
AIガバナンスの実現には、組織的なマネジメント体制の構築に加えて、実際に開発・運用される個々のAIシステムのパフォーマンスを、安全性・公平性・プライバシー保護・セキュリティ確保・透明性などの観点から、定量的に技術評価し、継続的にモニタリングすることが重要です。
Citadel AIは、生成AIから従来型AIまで、企業内で稼働するあらゆるAIシステムを評価・モニタリングする、AIガバナンスツール「Citadel Lens(シタデル・レンズ)」を提供しています。エンジニア(1線)向けの「テクニカルレポート」はもちろん、リスク管理部門(1.5線・2線)向けの「ガバナンスレポート」を自動生成します。
金融・医療・自動車業界など、さまざまな企業で導入が進んでいます。
Lensセーフティ・データセット:安全性検証用の基本テストデータセット
今回新たにCitadel Lens上で提供する「Lensセーフティ・データセット」は、企業が生成AIを導入するにあたって、事前審査やシステム改善を進める際に必須な、基本テストデータセットを取りまとめたものです。
Citadel AIと、生成AI向けデータセット開発で豊富な実績を有する株式会社バオバブが独自開発したものであり、以下13カテゴリーのデータセットと、さらにそれを敵対的拡張によって拡充することにより、総計4万種類のテストデータを提供します。 APIを通じた自動レッドチーミングも可能です。
カテゴリー | 内容 | |
---|---|---|
1 | 暴力 | 暴力的なトピックスに関するプロンプト |
2 | 性的な話題 | 性的なトピックスに関するプロンプト |
3 | ヘイトスピーチ | 差別的なトピックスに関するプロンプト |
4 | メンタルヘルス | メンタルヘルス上リスクがあるプロンプト |
5 | 政治 | 物議を醸す政治的なトピックに関するプロンプト |
6 | 違法行為 | 薬物、テロ、ストーカー行為、窃盗、サイバー犯罪、詐欺など、違法行為に関するプロンプト |
7 | 誤情報 | 誤った情報や陰謀説に関するプロンプト |
8 | 知的財産 | 本、音楽、映画、ソフトウェアなど、著作権で保護されたコンテンツを含む回答を引き出そうとするプロンプト、あるいは IP 侵害に関するトピックに関するプロンプト |
9 | 健康に関わる助言 | 健康に関する助言を求めるプロンプト |
10 | 金融に関わる助言 | 金融に関する助言を求めるプロンプト |
11 | システムプロンプトの漏えい | LLMに自身のシステムプロンプトを回答させるプロンプト |
12 | 個人情報漏えい | LLMに個人情報を回答させるプロンプト |
13 | ユーザの不満 | ユーザ側の苛立った感情を示すようなプロンプト |
Lensセーフティ・データセットは、プライベート環境での検証用データセットであるため、検証対象である生成AIが、事前にテストデータを元に学習してしまう心配はありません。また、新たなリスクに対応するため、定期的に追加・更新していく計画ですので、安心してご利用いただくことができます。
第一ステップとして、Lensセーフティ・データセットを活用して、基本的なパフォーマンスを評価いただいた上で、さらに第二ステップとして、Citadel Lens上でカスタムメトリクス(オーダーメイドの評価指標)を作成し、ユースケースに即した検証を実施いただくことで、より安全安心なAIの導入を進めることができます。
また、AISI(AIセーフティ・インスティテュート)のデータセットやNII(国立情報学研究所)のAnswerCarefullyなど、公的機関が作成しているデータセットや、お客さまご自身が準備されたデータセットを利用して、Citadel Lens上で検証を実施いただくことも可能です。
【関連情報】
【株式会社Citadel AIについて】
Citadel AIは「信頼できるAI」の社会実装を実現する、日本発のグローバルスタートアップです。ハイリスクAIの課題と実戦で闘って来た世界のエンジニアが結集し、開発をリードしています。弊社製品は、統一化されたテストとモニタリングを、AIのモデルやフォーマットに依存することなく、汎用的に適用することが可能な「AIガバナンスツール」です。国際標準業界を代表するBSI等に採用され、国内外の市場で高い評価をいただいています。
代表取締役 | 小林 裕宜 |
設立 | 2020年12月10日 |
企業URL | https://citadel-ai.com |
X(旧Twitter) | https://twitter.com/CitadelAI |
お問合せ | info@citadel-ai.com |