Citadel AI、DeepEyeVisionと共に眼底画像診断支援AIシステムの安全性向上に関する共同研究成果を日本眼科学会にて発表

「信頼できるAI」を社会実装する株式会社Citadel AI（本社：東京都渋谷区、代表取締役：小林裕宜、以下「Citadel AI」）は、自治医科大学発ベンチャーで、 AIによる眼科画像診断支援システムの開発ならびにプログラム医療機器の製造販売を行うDeepEyeVision株式会社（本社：栃木県下野市、代表取締役CEO：髙橋 秀徳、以下「DeepEyeVision」）と共に、DeepEyeVisionが持つ眼科領域におけるAIのさらなる性能及び安全性向上のため共同研究を行い、その成果を2024年4月18日-21日に開催された 第128回 日本眼科学会総会 にて発表したことをお知らせします。

医療画像診断支援AIモデルにおける課題

医療AIは、診断支援、治療計画の最適化、患者のモニタリングなど、様々な領域で革新的な解決策を提供する可能性を秘めています。その中でも、AIを用いて医療画像の読影支援を行う医療画像診断支援AIモデルは、読影医の地域偏在問題や、業務負担を軽減し、画像診断供給体制の均てん化を実現することができます。

その一方で、臨床現場での普及には様々な課題があります。そのひとつに、AI特有の技術的課題が指摘されています。例えば、医療AIの学習に使用されるデータ品質が不充分な場合、誤った結果や推論が生じる可能性があります。また、学習データに偏り（バイアス）がある場合、その学習データで訓練されたAIモデルは、偏った推論結果を導くことが知られています。

医療画像診断支援AIモデルの開発段階から、こうしたAI特有の技術的課題を念頭に開発を進めることで、信頼できる高品質なAIが実現し、医療従事者や患者に安心感を与え、医療画像診断支援AIモデルの健全な普及が進んでいくと考えられます。

ロバストネス特性の評価の重要性と意義

DeepEyeVisionは、AIに入力される眼底画像に加わる外乱（眼底カメラの撮影環境や画像処理に伴うノイズ）が、AIの予測に及ぼす影響について着目し、Citadel AIとの共同研究に着手いたしました。例えば、以下の左の眼底画像には黄斑変性という病変が見られます。AIは、オリジナルの画像については正しく分類できましたが、この画像にぼかしを掛けると、AIは正しく推論できず、疾患が無いと判断してしまいました。このような画像の微妙な変化は、眼底カメラの内部の撮像の変化や、外部の撮影環境の変化によって、臨床現場でも起こり得るものです。

本共同研究では、眼底画像内の疾患を推定するマルチラベル分類AIモデルのロバストネス特性、つまり、入力への外乱に対してAIがどれだけ頑強かを検証しました。さらに、それを踏まえた改良施策を実施し、特性変化を評価しました。

共同研究の内容

共同研究では、自治医科大学における医療倫理手続を経て適正に収集した約40万枚、50疾患の通常画角カラー眼底画像を使用して、マルチラベル分類モデルを学習させました。そして、モデルのロバストネス特性を評価するため、眼底画像への外乱を画像処理によって疑似的に再現いたしました。

左上がオリジナルの眼底画像で、以降順に、コントラストを上げる処理、コントラストを下げる処理、ディストーション、ズームぼかし、明度を上げる処理、明度を下げる処理、眼底部分をズームインする処理、を加えたものです。

外乱の例

次に、こうして外乱を加えた眼底画像を、モデルに入力します。その出力結果とオリジナルの眼底画像の出力結果を比較します。今回の実験では、外乱を加える前後でのデータセット全体での予測の変化の程度を表すRobustness Scoreという指標を用いています¹。Robustness Scoreが高いほど、モデルはその外乱に対して強いロバストネス特性を持つと言えます。

ロバストネス特性評価の仕組み

今回の共同研究において、AIのモデル毎のロバストネス特性を測定し、さらなる品質改善を行うことを目的に、Citadel Lensを用いました。

1. オリジナル画像に対する予測と、外乱を加えた画像に対する予測のJaccard係数を各画像に対して求め、データセット全体で平均を取ったものをRobustness Scoreとしています。 ↩︎

Citadel Lens のユーザーインターフェース

Citadel Lens にて評価した結果、DeepEyeVisionが当初開発したオリジナルのAIモデルは、特にBrightness Down（明度の低い画像）の項目でスコアが低く、つまり、眼底画像の推論は、明度の低さに対する影響を強く受けるということが分かりました。そこで次に、外乱として、眼底画像の明度をランダムに変える処理を施したデータを追加してモデルを学習させるということを行いました。

その結果を下表にまとめます。オリジナルのモデルと、眼底画像の明度を変える外乱を加えたデータを学習させたモデルのロバストネス特性を比較したものです。外乱を加えた場合の方が、明度の変化に対するロバストネス特性が高くなることが確認できました。つまり、モデルが明度の変化に対する頑強性を獲得したということになります。

オリジナルモデルと外乱を加えたデータで学習したモデルのロバストネス特性比較表

オリジナルモデル（青線）と外乱を加えたデータで学習したモデル（黄色線）の
ノイズに対する性能比較レーダーチャート

また、上のレーダーチャートの通り、他の外乱への耐性も身に付けていることも確認でき、今後は明度以外の外乱についても同様に学習時に加えて、モデルがどのように変化するかを評価検証していく予定です。

日本眼科学会総会における発表内容はこちらから：PDF

DeepEyeVision株式会社 近藤 佑亮 CTO コメント

　DeepEyeVision が開発する AI を活用した医療機器プログラムは、既に複数製品が医療機器としての薬事認証を取得し、実臨床の現場で使われています。日々の診療で AI を活用されている眼科医の先生方から、これは便利だとお褒めの言葉をいただくと同時に、 AI の頑強性や説明性を高めてほしいとのご要望をいただく機会が多いです。私と同じく東京大学電気系出身の小林 CEO が率いるCitadel AI 社は、AI の信頼性評価技術において、世界一流の技術力があります。実際、同社の CitadelLens を活用することで、本発表のような頑強性・説明性向上の成果を出すことができました。高品質な眼科AIを世界中に遍く普及させるべく、パートナー企業様と共に引き続き邁進して参りますので、応援の程よろしくお願いいたします。

株式会社Citadel AI Kenny Song CTO コメント

Citadel AIのプロダクトは、医療画像AIの安全性・信頼性向上に必要となる様々な機能をシングルパッケージで備えています。Citadel Lens を活用することで、今回DeepEyeVisionが活用したノイズ耐性テストや、その他にも未学習領域の自動検出、ラベル間違え推定、公平性テスト、説明責任の可視化等、AIに関するテストを網羅的に、自動かつ一瞬で行うことができます。今回の共同研究成果を受け、DeepEyeVisionとCitadel AIは長期的な視野で医療分野AIのさらなる発展のために、今後も連携を進めていく予定です。また、両社はAI医療機器の正しい理解と認知を獲得し、社会実装を促進する活動を行うAI医療機器協議会にも加盟しており、社会・業界全体に対して前向きなインパクトを提供していきたいと考えております。

【DeepEyeVision 株式会社について】

自治医科大学 准教授である、髙橋秀徳（医学博士）が、同大学の医療AI技術を社会に還元することを目的として設立した自治医科大学発ベンチャー企業です。AIによる画像診断技術をいかし、眼科領域に留まらず、あらゆる医療分野の高度化をミッションとして、研究開発を行っています。

【株式会社Citadel AIについて】

Citadel AIは「信頼できるAI」の社会実装を実現する、日本発のグローバルスタートアップです。ハイリスクAIの課題と正に実戦で闘って来た世界のエンジニアが結集し、開発をリードしています。弊社製品は、AIのモデルやフォーマットに依存することなく、統一化されたテストを、汎用的に適用することが可能です。国際標準業界を代表するBSI等に採用され、グローバル市場で高い評価をいただいています。