9月7日、Help Net Securityが「18 ways to check whether data can be trusted for AI」と題した記事を公開した。ETSI（欧州電気通信標準化機構）が技術報告書「TR 104 180」を公開し、AIに使うデータの信頼性を測る18の品質指標を定義した。実データへの適用では、米国国勢調査データセットで男女間に約3倍の所得格差バイアスが検出されるなど、既存の「確認済み」データにも定量的な問題が潜むことが明らかになっている。
「このデータはAIに使って大丈夫か」を定量的に判断する共通基準は、これまで業界に存在しなかった。ETSIがその空白を埋めようとしている。
18指標、4つのカテゴリ
TR 104 180は、データ品質を測る18の指標を定義した技術報告書だ。各指標には計算式が付属しており、スコアとして算出できる。
指標は4グループに分類される。
- 基本品質：完全性、正確性、一貫性、重複排除
- 利用可能性：必要なときにアクセスできるか、出所が追跡可能か、最新状態か
- 公平性：異なる人口グループ間でデータが均等に扱われているか
- プライバシー：個人が特定されるリスクはないか、機密情報が保護されているか
公平性とプライバシーが正確性や完全性と同列の品質指標として扱われている点が、このフレームワークの特徴だ。
実データで試してわかったこと
報告書の研究チームは、18指標を2つの公開データセットに実際に適用した。1つは航空機エンジンのセンサーデータ、もう1つは機械学習研究でよく使われる米国国勢調査データ（年収5万ドル超かどうかを予測するタスク用）だ。
エンジンデータは問題なかった。完全性・正確性・時系列の安定性でいずれも良好なスコアを示した。
問題が出たのは国勢調査データの方だ。
バイアス：男性の高所得者比率は女性の約3倍
研究チームが性別間のバイアスを確認したところ、データセット内で高所得者とされている割合は**男性が約31%、女性が約11%**だった。TR 104 180はこの約3倍の乖離をバイアスの警告水準として扱っている。
このデータが機械学習モデルの訓練に使われれば、性別に基づく偏りがモデルに組み込まれるリスクがある。
プライバシー：2種類の問題が同時に検出された
国勢調査データはプライバシー指標でも2つの問題に引っかかった。
1つ目は再識別リスクだ。年齢・人種・性別・出身国の4項目を組み合わせるだけで特定の個人を絞り込めることが判明した。一部の個人はそれだけで単独特定が可能だという。
2つ目は機密性の欠如だ。個人情報がマスキングや暗号化なしの平文で保存されていた。
TR 104 180はこれらをいずれもデータ品質の「失点」として扱い、正確性や完全性と同じ計算式でスコアを出す。
実務で使えるオープンソースツール
TR 104 180はSejong University、EGM、TTA、Daejeon University、CNITが参加したワーキンググループで策定された。このグループは合わせて、任意のデータセットを18指標でスコアリングできるオープンソースツールも開発している。ツール名およびリポジトリURLは元記事に記載がなく、詳細はETSIのワーキンググループ（ETSI TC DATA）を通じて確認されたい。
ETSI Technical Committee DATAの委員長であるDiego Lopezは次のように述べている。
「データ品質が計測可能であることは不可欠だ。特に、信頼できるAIのようなデータが本質的な目的に適しているかどうかを判断する必要がある組織にとってはなおさらだ」
「ETSIの標準化された指標は、データ品質を評価するための共通言語を提供し、データセットが意図した目的に適合しているかどうかについての定量的なエビデンスを与える」
CTOやAI推進担当者が押さえるべき点
AIプロジェクトで「データの質は確認済み」と言いながら、実際の確認がドメインエキスパートの主観的レビューにとどまっているケースは多い。TR 104 180が提供するのは、その確認作業を定量・再現可能にするための共通フレームワークだ。
プライバシーと公平性が品質指標に含まれている点は、EU AI Actをはじめとする規制対応の観点からも関連する可能性がある。ただし、TR 104 180がAI Actの要件に直接対応するものかどうかは本報告書の範囲外であり、規制対応への適用可否は個別に精査が必要だ。報告書本体はETSIのサイトから無償でダウンロードできる。
詳細は18 ways to check whether data can be trusted for AIを参照していただきたい。
