AIシステムのモニタリングと透明性・説明責任の確保が重要に【第5回】

　並行して、組織内における標準的なモニタリング方法や、その実践を支えるシステム環境の整備も進めたい。AIシステムのモニタリングは人による処理結果の確認や目視による照合、再計算などではなく、ITシステムによる分析が不可欠だ。そのため、システム環境を整備することは、実施すべきモニタリングに現実解を与え、運用の効率化と合わせて推進力にもなり得る。

　AIモデルをモニタリングするITシステムは、基盤モデルを提供する米国のビッグテックのほか、オープンソースソフトウェアを含めITベンダーが提供している。

　生成AIモデルに対しても、各種メトリックを測定し、アラートを発信する機能を持つモデル監視ソフトウェアやサービスが提供されている。それらを利用すれば、生成された回答が入力ソースによる情報と、どの程度合致しているか、生成された応答が質問に対して、どの程度適切で関連性があるか、生成されたテキストが文法規則や語彙の適切な使用に、どの程度準拠しているかなどが判断できる。

　適切なソフトウェア／サービスを、それぞれのAIシステム／AIモデルの構築環境に合わせて選定するのがよいだろう。

AIシステムの提供企業は透明性と説明責任を絶えず自問自答を

　AIシステムに対する社会的な懸念の1つとして「ブラックボックス問題」が指摘されている。判断プロセスが外部から見えない、もしくは理解しにくい状況を指す。特に深層学習（Deep Learning）のような高度なアルゴリズムでは、膨大なデータから抽出された特徴を基に判断するため、なぜその答えに至ったかという思考過程を人間は、もはや追うことはできない。

　ただ生成AIが急速に利用されるケースが増えてきたことで、ブラックボックス問題を危惧する論調が増加する状況にはなく、むしろ、その反対の傾向にあるようにみえる。

　しかしながら、自動運転車の安全走行、患者に対する医療診断や処方、金融における与信審査などにAIシステムを活用する場合、関係する企業などは、その処理結果に対して説明を求められることが容易に想定される。企業などはAIに対する説明可能性（Explainability）を追求する姿勢と、自らの説明責任（Accountability）を絶えず自問自答する必要があるだろう。

　説明可能性に近しい概念として、透明性（Transparency）が論点になることが多い。説明可能性と透明性は相互に関係するが、透明性ではAIモデルが、どのように構築されたのか、どのようなデータで訓練されたのか、AIシステムの属性や特性、能力や限界といった情報開示の度合いが問われる。

　AIシステムのライフサイクルにおいて、データ収集や情報タグを付加するアノテーション手法、AIモデルの学習過程、AIシステムのリスク、モニタリング方法や再学習の方針などを合理的な範囲で関係者と共有することは、AIシステムの透明性を高めるのである。このような取り組みは、多様なステークホルダーに納得感や安心感を与えるだけではなく、万が一、問題が生じた際の検証可能性や説明責任を果たすことにもつながる。

　内閣府は2019年、産学民官のマルチステークホルダーによる会議を設置し、「人間中心のAI社会原則」をまとめている。同原則は、社会がAIを受け入れ適正に利用するために留意すべき観点として、（1）人間中心、（2）教育・リテラシー、（3）プライバシー確保、（4）セキュリティ確保、（5）公正競争確保、（6）公平性、説明責任及び透明性、（7）イノベーションを定めている。

　人間中心のAI社会原則は、特に国などの立法・行政機関が留意すべき事項として取りまとめられたものであり、日本のAI戦略の上位概念になるものであろう（図3）。総務省と経済産業省が2024年に公表した『AI事業者ガイドライン（第1.0版）』や内閣府のAI戦略会議が公表した『中間とりまとめ』においても、基本的な考え方は踏襲されている。

図3：内閣府が2019年にまとめた「人間中心のAI社会原則」

　AIシステムやAIモデルを自社の製品／サービスに導入する企業は、AIシステムのリスクに応じてモニタリングを実施し、その結果を関係者と共有することで、AIシステムの透明性を高める必要がある。

　次回は、AIモデルの構築に必要不可欠な学習データなどのマネジメントを含め、AIガバナンスのプラットフォームについて解説する。AIシステムを積極活用するための基盤であり、リスク評価やモニタリングとの関係も説明したい。