Citadel AI、理化学研究所の大規模言語モデルの安全性を高める日本語データセット開発に協力

国立研究開発法人理化学研究所（理研）革新知能統合研究センター言語情報アクセス技術チームの関根 聡チームリーダーらの研究グループが、国立情報学研究所の呼びかけで発足したLLM勉強会の協力のもと、より安全で信頼性の高い大規模言語モデルの実現を目指す日本語データセット（呼称AnswerCarefully）を開発し、2024年4月30日にバージョン1.0を公開いたしました。「信頼できるAI」を社会実装する株式会社Citadel AI（本社：東京都渋谷区、代表取締役：小林裕宜、以下「Citadel AI」）は、このデータの開発に協力しています。

◾️大規模言語モデル開発における課題

大規模言語モデル開発における課題の一つは、有害テキストの影響です。有害テキストには差別的な言語、過激な意見、あるいは不適切なコンテンツ等が含まれます。これらの有害テキストがそのままモデルの学習データとして利用されてしまうと、モデルが偏った推論を行ったり、有害な結果を生成したりする可能性が生じます。また、有害テキストがプロンプトとしてインプットされることで、そのモデルがさらに不適切な振る舞いをするリスクが高まります。そのため、適切なデータセットの選定と品質管理が大規模言語モデルの開発における重要な課題となっています。

さらにもう一つの課題は、GPT4やGeminiなどの生成AI基盤モデルは主に海外で開発されているため、英語などの言語に比べて、日本語のトレーニングデータが不足している点です。日本語ベースで有害なテキストに対する適切な応答のデータセットを構築し、大規模言語モデルに学習させることで、安全性と信頼性を高めていく必要があります。

◾️日本語有害データセットの重要性と意義

理研がLLM勉強会及びCitadel AIの協力のもと開発したAnswerCarefullyデータセットは、こうした課題に対処するための重要な取り組みです。このデータセットには、日本語で書かれた有害なコンテンツやバイアスが含まれるテキストデータとそれに対してLLMに求められる適切な回答例が収集されており、大規模言語モデルの学習や評価に使用することができます。これにより、モデルが実世界の状況に適切に対応し、人々や社会にとってより安全かつ公正なサービスを提供するための基盤となることを目指しています。このAnswerCarefullyデータセットをオープンソースとして公開し、大規模言語モデル開発者が研究用途、商業用途を問わず活用することができるようにすることで、今回の成果を広く社会に還元して参ります。

AnswerCarefully の詳細はこちらから：https://liat-aip.sakura.ne.jp/wp/answercarefully-dataset/

【株式会社Citadel AIについて】

Citadel AIは「信頼できるAI」の社会実装を実現する、日本発のグローバルスタートアップです。ハイリスクAIの課題と正に実戦で闘って来た世界のエンジニアが結集し、開発をリードしています。弊社製品は、AIのモデルやフォーマットに依存することなく、統一化されたテストを、汎用的に適用することが可能です。国際標準業界を代表するBSI等に採用され、グローバル市場で高い評価をいただいています。

【国立研究開発法人理化学研究所について】