AIのバイアス特定・管理のための標準化に向けて（1/3）NIST Special Publication 1270

はじめに

米国国立標準技術研究所(NIST)は、1901年に設立された米国最古の物理科学研究所の一つであり、現在は米国商務省傘下に属しています。さまざまな科学技術分野における計測と標準化を通じ、米国のみならず世界を牽引する研究機関です。

スマート電力網、電子カルテから原子時計、先端ナノ材料、コンピュータチップまで、無数の製品やサービスが、何らかの形でNISTが提供する技術、測定、標準に依拠しています。日本では情報セキュリティ分野のガイドラインが有名です。

弊社では米国NISTの許可を得て、2022年3月に発表された報告書 “NIST Special Publication 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence”「AIのバイアスの特定と管理のための標準化に向けて」について、そのキーポイントと思われるところを抜粋し邦訳の上、3回に分けてブログで公開することと致しました。

同報告書では、バイアスの有害な影響を特定し管理し、信頼できるAIシステムを開発するためには、その機械学習プロセスや学習データの技術的な検証に加え、AIの開発や使用に関わる社会的・組織的・人的要因や背景にも注視した「社会技術的アプローチ(Socio-Technical Perspective)」が重要であると指摘しています。

邦訳並びにブログでの転載の許可を頂きましたNISTのご厚意に深謝申し上げますと共に、本記事が、今後の日本の社会や企業におけるAIの実装において、少しでも皆様のお役に立てることを願っています。

尚、邦訳に関わる抜粋箇所の選定は、あくまで弊社の私見・責任に則ったものであり、NISTの意図を現したものではございません。

Translated with permission courtesy of the National Institute of Standards and Technology (NIST), not an official US Government translation. All rights reserved, US Secretary of Commerce.

【NIST Special Publication 1270の構成】

今回は、Executive Summaryから2. AIバイアスの類型化の冒頭の部分までを記載します。

Executive Summary

1 Purpose and Scope 目的とスコープ

2 AI Bias: Context and Terminology AIバイアスの類型化

3 AI Bias: Challenges and Guidance AIバイアス：課題と指針

4. Conclusions 結論

5. Glossary

Executive Summary

Current attempts for addressing the harmful effects of AI bias remain focused on computational factors such as representativeness of datasets and fairness 
of machine learning algorithms. These remedies are vital for mitigating bias, and more work remains. Yet, as illustrated in Fig. 1, human and systemic institutional and societal factors are significant sources of AI bias as well, and are currently overlooked.

AIのバイアスの有害な影響に対処するためのアプローチの多くは、データセットの代表性や機械学習アルゴリズムの公平性といった計数的な要因に焦点が当てられています。これらの改善策は、バイアスを軽減するために不可欠であり、やるべきことはまだ沢山残されています。しかし、図1に示すように、人的要因あるいはシステミックで組織社会的な要因もAIバイアスの重要な要因であり、多くのケースで見過ごされています。

The importance of transparency, datasets, and test, evaluation, validation, and verification (TEVV) cannot be overstated. Human factors such as participatory design techniques and multi-stakeholder approaches, and a human-in-the-loop are also important for mitigating risks related to AI bias. However none of these practices individually or in concert are a panacea against bias and each brings its own set of pitfalls.

システムの透明性や、データセット、テスト・評価・有効性の確認・検証（TEVV）の重要性は、いくら強調してもし過ぎることはないでしょう。また、参加型設計やマルチステークホルダーアプローチ、ヒューマンインザループなどの人的手法も、AIのバイアスに関するリスクを軽減する上で重要です。しかし、これらの手法は、単独でも連携しても、バイアスに対する万能薬ではなく、それぞれに落とし穴があります。

What is missing from current remedies is guidance from a broader SOCIO-TECHNICAL perspective that connects these practices to societal values. Experts in the area of Trustworthy and Responsible AI counsel that to successfully manage the risks of AI bias we must operationalize these values and create new norms around how AI is built and deployed. This document, and work by the National Institute of Standards and Technology (NIST) in the area of AI bias, is based on a socio-technical perspective.

現在のバイアス解決策に欠けているのは、これらの手法と社会的価値とを結びつける、より広範な社会技術的観点からのガイダンスです。信頼できる責任あるAI の分野の専門家は、AIのバイアスリスクをうまく管理するためには、これらの価値が総合的に機能するよう、AIの構築・運用手法に関する新しい規範を作成する必要があると助言しています。この報告書、並びにAI バイアスの分野におけるNISTの研究は、こうした社会技術的なアプローチに基づいています。

The intent of this document is to surface the salient issues in the challenging area of AI bias, and to provide a first step on the roadmap for developing detailed socio-technical guidance for identifying and managing AI bias. Specifically, this special publication:

• describes the stakes and challenge of bias in artificial intelligence and provides examples of how and why it can chip away at public trust;

• identifies three categories of bias in AI — systemic, statistical, and human — and describes how and where they contribute to harms;

• describes three broad challenges for mitigating bias — datasets, testing and evaluation, and human factors — and introduces preliminary guidance for addressing them.

本報告書の目的は、AIバイアスの解決困難な領域における顕著な課題を炙り出し、AIバイアスを特定し管理するため、より詳細な社会技術的なガイダンスを構築するロードマップの第一歩を提供することです。具体的には、今回のこの特別出版（訳注：NIST SP 1270）は

• AIにおけるバイアスの問題点と課題を説明し、それがどのように、そしてなぜ社会的信頼を損ないうるかの例を提示します。
• AIにおけるバイアスの3つのカテゴリー（システミックバイアス、統計的・計数的バイアス、人的バイアス）を特定し、それらがどのような場面で如何にして害を及ぼすかを説明します。
• バイアスを軽減するための3つの大きな課題（データセット、テストと評価、人的要因）を説明し、それらに対処するための予備的なガイダンスを紹介します。

Bias is neither new nor unique to AI and it is not possible to achieve zero risk of bias in an AI system. NIST intends to develop methods for increasing assurance, GOVERNANCE and practice improvements for identifying, understanding, measuring, managing, and reducing bias. To reach this goal, techniques are needed that are flexible, can be applied across contexts regardless of industry, and are easily communicated to different stakeholder groups.

バイアスはAIにとって新しいものでも特殊なものでもなく、AIシステムにおけるバイアスのリスクをゼロにすることは不可能です。NISTは、バイアスを特定し、理解し、測定し、管理・低減するための、確度を高め、ガバナンスし、実践的に改善する手法の開発を目指します。この目標を達成するためには、柔軟で、さまざまな業界環境を超えて適用でき、異なるステークホルダーに簡便に訴求できる手法が必要となります。

1. Purpose and Scope 目的とスコープ

Working with the AI community, NIST has identified the following technical and socio-technical characteristics needed to cultivate trust in AI systems: accuracy, explainability and interpretability, privacy, reliability, robustness, safety, and security resilience — and that harmful biases are mitigated or controlled.

NISTは、AIに関わるコミュニティと協力し、AIシステムの信頼を醸成し、有害なバイアスを緩和または制御するためには、精度、説明可能性と解釈可能性、プライバシー、信頼性、ロバスト性、安全性、セキュリティ耐性といった技術面並びに社会技術面での要素が重要であることを明らかにしました。

While AI has significant potential as a transformative technology, it also poses inherent risks. Since trust and risk are closely related, NIST’s work in the area of trustworthy and responsible AI centers around development of a voluntary Risk Management Framework (RMF).

AIは革新的な技術として大きな可能性を秘めていますが、同時にAI固有のリスクも内包しています。信頼とリスクは密接に関連しているため、NISTは、信頼できる責任あるAIの分野で、自主的なリスク管理フレームワーク（RMF）の開発に重点を置いて取り組んでいます。

The unique challenges of AI require a deeper understanding of how AI risks differ from other domains. The NIST AI RMF is intended to address risks in the design, development, use, and evaluation of AI products, services, and systems for such tasks as recommendation, diagnosis, pattern recognition, and automated planning and decision making.

AI特有の課題として、AIのリスクが他の領域とどのように異なるかをより深く理解する必要があります。リコメンデーション、診断、パターン認識、計画立案や意思決定の自動化などに関わるAIの製品、サービス、システムに対して、NISTのAI RMFは、その設計、開発、使用、評価におけるリスクに対処することを目的としています。

The framework is intended to enable the development and use of AI in ways that will increase trustworthiness, advance usefulness, and address potential harms. NIST is leveraging a multi-stakeholder approach to creating and maintaining actionable practice guides via the RMF that is broadly adoptable.

このRMFのフレームワークは、AIの開発および使用に際し、信頼性を高め、有用性を向上させ、潜在的な問題に対処することを目指しています。NISTでは、RMFを通じた、広範囲に適用でき実行可能な実践ガイドを作成・維持するために、マルチステークホルダーアプローチを採用しています。

2. AI Bias: Context and Terminology コンテキストと用語定義

AI is neither built nor deployed in a vacuum, sealed off from societal realities of discrimination or unfair practices. Understanding AI as a socio-technical system acknowledges that the processes used to develop technology are more than their mathematical and computational constructs. A socio-technical approach to AI takes into account the values and behavior modeled from the datasets, the humans who interact with them, and the complex organizational factors that go into their commission, design, development, and ultimate deployment.

AIは、差別や不公正な行為といった社会的現実から遮断された、まっさらな空間で構築・運用されるものではありません。AIを社会技術システムとして理解するということは、その技術開発プロセスが、単に数学的・計数的な要素だけからできているのではなく、それ以上のものであることを認識するということです。AIへの社会技術的アプローチとは、データセットからモデル化されるべき価値観や行動、それらと相互作用する人間、そしてその試行、設計、開発、最終的な展開に関わる複雑な組織的要因をも考慮に入れるということです。

2.1 Characterizing AI bias AIバイアスの類型化

2.1.1 Contexts for addressing AI bias

AIバイアスに対処するためのコンテクスト

Statistical context 統計的コンテキスト

In technical systems, bias is most commonly understood and treated as a statistical phenomenon.

技術システムにおいて、バイアスは統計的な現象として理解され、扱われることが最も一般的です。

Legal context 法的コンテキスト

This section is presented not as legal guidance, rather as a reminder for developers, deployers, and users of AI that they must be cognizant of legal considerations in their work, particularly with regard to bias testing.

このセクションでは、法的なガイダンスを提示しているのではなく、AIの開発者、導入者、および利用者が、特にバイアスについてのテストを行う際、その業務上、法的配慮が必要であることを注意喚起しています。

Cognitive and societal context 認知・社会的コンテキスト

The teams involved in AI system design and development bring their cognitive biases, both individual and group, into the process [73]. Bias is prevalent in the assumptions about which data should be used, what AI models should be developed, where the AI system should be placed — or if AI is required at all. There are systemic biases at the institutional level that affect how organizations and teams are structured and who controls the decision making processes, and individual and group heuristics and cognitive/perceptual biases throughout the AI lifecycle (as described in Section 2.4).

AIシステムの設計と開発に携わるチームは、それぞれの個人の、そしてグループとしての、両方の認知バイアスをプロセスに齎します[73]。どのデータを使うべきか、どのようなAIモデルを開発すべきか、AIシステムをどこに配置すべきか、あるいはAIが全く必要ないのか、といった仮定の中にバイアスが遍在しています。組織やチームがどのように構成され、誰が意思決定プロセスをコントロールするかといったことに影響を与える組織レベルでのシステミックバイアスや、（セクション 2.4 で説明するように）AI ライフサイクルを通じた、個人やグループの経験則、あるいは認知・知覚に伴うバイアスが存在します。

2.1.2 Categories of AI bias AIのバイアスのカテゴリー

Based on previous academic work to classify AI bias [81–91] and discussions with thought leaders in the field, it is possible to identify three dominant categories of AI bias.

AIバイアスを分類したこれまでの学術的研究[81–91]と、この分野のオピニオンリーダーとの議論に基づき、AIバイアスの主要因は、以下3つのカテゴリー（システミックバイアス、統計的・計数的バイアス、人的バイアス）に類型化できると考えられます。

Systemic システミックバイアス（組織全体に及ぶようなバイアス）

Systemic biases result from procedures and practices of particular institutions that operate in ways which result in certain social groups being advantaged or favored and others be ing disadvantaged or devalued. This need not be the result of any conscious prejudice or discrimination but rather of the majority following existing rules or norms. Institutional racism and sexism are the most common examples [92].

システミックバイアスは、特定の機関の手続きや慣行に起因するもので、それが特定の社会集団には有利になり、その他の集団は不利になるような方法で運営されているために生じます。これは、必ずしも意識的な偏見や差別の結果とは限らず、むしろ多くは、既存のルールや規範が原因です。制度的な（企業や社会の）人種主義や性差別は、この最も一般的な事例です[92]。

Statistical and Computational 統計的・計数的バイアス

Statistical and computational biases stem from errors that result when the sample is not representative of the population. These biases arise from systematic as opposed to random error and can occur in the absence of prejudice, partiality, or discriminatory intent [98].

統計的・計数的バイアスは、サンプルが母集団を代表していない場合に生じるエラーに起因します。これらのバイアスはランダム誤差とは対照的に、規則的な誤差から生じます。また、偏見、不公平、差別的な意図がなくても発生します[98]

In AI systems, these biases are present in the datasets and algorithmic processes used in the development of AI applications, and often arise when algorithms are trained on one type of data and cannot extrapolate beyond those data.

AIシステムにおいては、これらのバイアスはAIアプリケーションの開発に使用されるデータセットとアルゴリズムプロセスに内在します。アルゴリズムがある特定のデータ領域で訓練され、そのデータ領域を超えた外挿が適用できない場合にしばしば発生します。

The error may be due to heterogeneous data, representation of complex data in simpler mathematical representations, wrong data, and algorithmic biases such as over- and under-fitting, the treatment of outliers, and data cleaning and imputation factors.

こうしたエラーは、ヘテロジニアスデータ（訳注：種類や形式のばらつきが大きいデータ）や、単純な数学的表現で纏められた複雑なデータ、誤ったデータ等が元となっていたり、あるいはオーバーフィットやアンダーフィット、外れ値の取り扱い、データクレンジングやインピュテーション（欠損値補完）要因など、アルゴリズム上のバイアスが原因であったりします。

Human 人的バイアス

Human biases reflect systematic errors in human thought based on a limited number of heuristic principles and predicting values to simpler judgmental operations [99]. These biases are often implicit and tend to relate to how an individual or group perceives information (such as automated AI output) to make a decision or fill in missing or unknown information.

人的バイアスは、これまでの限られた経験則に基づいて、物事を単純化して判断をしてしまう人間の思考エラーに起因しています[99]。これらのバイアスは、しばしば暗黙的であり、個人またはグループが如何に（自動化されたAI出力などの）情報を認識し、決定を下し、あるいは欠落情報や未知情報を埋めてしまうかといったことに関連しています。

There is a wide variety of human biases. Cognitive and perceptual biases show themselves in all domains and are not unique to human interactions with AI. Rather, they are a fundamental part of the human mind.

人的バイアスは多種多様です。認知・知覚バイアスはあらゆる領域で見られるものであり、人間とAIとの相互作用だけに特有なものではありません。むしろ、それらは人間の心の基本的な部分です。

2.2 How AI bias contributes to harms AIバイアスが齎す問題

Technology based on AI has tighter connections to and broader impacts on society than traditional software. Applications that utilize AI are often deployed across sectors and contexts for decision-support and decision-making.

AIに基づくテクノロジーは、従来のソフトウェアよりも社会との結びつきが強く、社会に対してより広い影響を与えます。AIを活用したアプリケーションは、意思決定やそのサポートなど、分野やコンテキスト（訳注：使用環境や背景）を超えて活用されることもあります。

Yet, ML models tend to exhibit “unexpectedly poor behavior when deployed in real world domains” without domain-specific constraints supplied by human operators [103].

しかしながら、機械学習モデルが人間のオペレータによるドメイン固有の制約条件なしに運用された場合、「（訳注：開発環境とは異なる）実世界のドメインにおいて、予期せぬ形で悪い振る舞いを示す事態」がしばしば発生します[103]。

These biases can negatively impact individuals and society by amplifying and reinforcing discrimination at a speed and scale far beyond the traditional discriminatory practices that can result from implicit human or institutional biases such as racism, sexism, ageism or ableism.

人種差別、性差別、年齢差別、能力差別など、人間や組織に潜む暗黙的な偏見に基づく従来の差別に比べ、AIバイアスは、はるかに速いスピードとスケールで差別を誘発・増強し、個人と社会にネガティブな影響を及ぼす可能性があります。