AIガバナンス・リスクに関する動向

1. AIガバナンスにかかわる各国の動向
2. AIガバナンス・リスクについての考察
3. まとめ

ディープラーニングに代表される人工知能（Artificial Intelligence：AI）関連の研究の進展、その実現を支えるコンピュータ処理能力向上を背景に、ビッグデータ活用や業務効率化のソリューションの1つとして、AI技術に大きな関心が寄せられています。各企業や団体では、さまざまな業種・業務に対して、AIの検証・導入が盛んに行われ、一定の成果を上げた事例も増えてきました。その一方で、従来のITガバナンスの枠組みでは対応が難しい点も表面化していることから、AIに対するガバナンスを求める声が高まり、各国内にとどまらず、AIガバナンスに関連の議論が活発化しています。本稿では、国内外の主な動向を紹介しながら、AIガバナンス・リスクについて考察します。

日本では、2016年4月に創設された人工知能技術戦略会議を中心として、AI技術における関係官庁・団体の連携が図られ、各ステークホルダー向けのソフトローとしての指針、原則、ガイドライン制定に向けた検討が行われています。しかしながら、現時点では正式に標準化は行われておらず、国際的な枠組みの中でイニシアティブを執るための検討ならびに提案段階となっています。

ステークホルダー共通

研究者・開発者向け

利用者・事業者向け

これまでIT技術を先導してきたアメリカでは2018年5月にホワイトハウス主催でAIのサミットが開催され、AI特別委員会の設立が公表されました。さらに、民間の団体、企業などにおいても活発な動きが見られます。これまで数多くのIT技術の国際的な標準化を行ってきた米国電気電子学会（IEEE）が2017年12月に「Ethically Aligned Design Version 2 （倫理的に調整された設計 第2版）」を公表し、米国情報技術工業協議会（ITI）が2017年10月に「AI Policy Principles（（AI政策原則）」を公表するなど、他にも多数の議論が進んでおります。

EUでは、人種や性別などの偏ったデータに依存した差別的な分析が増える懸念に対し、有識者会議「AI4People」がAI倫理指針原案を発表し、欧州委員会が2018年末までに最終案を作成する予定となっています。その中では、判断に利用したデータを公表する情報開示制度やAIの倫理的機能や運用に対する監査などの検討が進んでいるようです。イギリスでは、AI等の安全で倫理的なイノベーションを目的として「Centre for Data Ethics and Innovation（データ倫理イノベーションセンター）」を新設し、AIのユースケースの検討で世界をリードしていくとしています。また、イギリスのAI特別委員会は2018年4月の報告書「AI in the UK: ready, willing and able?（英国はAIを活用し、そして活用できる準備ができているか）」の中で、AIの倫理行動規範の策定に向けた5原則を提示しており、その他の欧州各国でも同様にAIについての各種議論が進行中です。

アジアに目を向けると、中国では、世界の主要なAIのイノベーションの拠点となることを目標に掲げた「次世代人工知能発展計画」を公表しました。さらに、情報通信産業の標準化を行う中国電子技術標準化研究所が2018年1月に、国内外のAIの標準化の動向をまとめた白書を作成・公表し、その中で技術面の進歩・標準化と並行して、安全性、倫理面などの政策、法及び標準の策定が重要な旨を指摘しています。また、シンガポール政府が2018年6月に公開した「Discussion Paper on Artificial Intelligence（AI）and Personal Data - Fostering Responsible Development and Adoption of AI」では、これまで各国で公開されてきたようなAIに関しての原則や論点の提示ではなく、各企業や団体が自主的にAIガバナンスを考えるためのフレームワークを提示している点が特徴的です。

日本では、政府の「人間中心のAI社会原則検討会議」が検討を進めており、2019年3月に原則を公表予定です。具体的には、個人データ管理や国外データ連携、セキュリティ、AI判断に対する説明責任などを検討しています。また、2019年6月に日本で開催されるG20サミットでは、テーマの1つとしてAIが取り上げられる予定です。
各国の議論を見ても、まだ正式な標準化等は行われておらず、国際的なAI推進に対するイニシアティブの取得を目的とした検討、提案段階というところです。しかし、今後さらに議論が進む中で、標準化や国際規格化も徐々に進んで来ると考えられます。

ここまで、AIガバナンスにかかわる各国の動向の一部を紹介しました。各国とも互いの動向を注視し、参照し合っているため、文化的な観点や各機関の立ち位置により、細かな違いはありますが本質的なところでは概ね同じ方向を向いていると思われます。2018年4月の記事「AI動向と活用事例・リスクに関する考察」（KPMG）では開発者の視座となるAIの開発原則について紹介しましたが、本節では、利用者の視座となるAIの利活用原則（総務省）及び契約ガイドライン（経済産業省）に焦点を当て、そのガバナンス・リスクについての考察を行います。

総務省AIネットワーク社会推進会議は、「報告書2017 - AIネットワーク化に関する国際的な議論の推進に向けて -」で開発者視点に立ったAI開発原則案に続き、2018年7月17日に「報告書2018 - AIの利活用の促進及びAIネットワーク化の健全な進展に向けて -」の中で利用者、事業者視点に立ったAI利活用原則案を公表しました。この原則案では、10の原則すべてがリスクの抑制に深く関係するものとなっています。

ただし、開発者視点、利用者視点の違いはありますが、各原則に対してのリスクのポイントは共通点も多いため、ここでは前述の「AI動向と活用事例・リスクに関する考察」で紹介した内容と重複が少ないもの及び更なる動きが見られるものとして、「適正利用の原則」「適正学習の原則」「尊厳・自律の原則」「公平性の原則」「透明性の原則」「アカウンタビリティの原則」を対象に考察します。

適正利用の原則
人間とAI、及びAIの利用者間の適切な役割分担で、利用範囲・利用方法の検討が必要です。AIを利用したソリューションが数多く出てきていますが、まだまだ発展途上の技術であり、現状では万能とは言い難いものです。
ビジネスにおけるAI適用に際しては、AI導入ありきではなく、各業務・提供サービスにおいて、課題や高度化のポイントを見極め、それを実現するための一手段としてデジタル／IA（Intelligent Automation）の適用があり、そのひとつにAIがあることを念頭において取り組むことが重要です。

その中でAI適用可否の評価・判断をするにあたって、対象のAI技術・ソリューションの特性を十分に吟味し、それに適した範囲、用途での利用を検討する必要があります。「そのAI技術で実現可能なのはどの部分か」、「人間が実施したほうがいいのではないか」など、AIを適切に利用するための検討事項は、その目的に応じて多岐に渡り、もたらされるメリットと伴うリスクのバランスを考えながら、AIの適用ならびに活用を考えていく必要があります。さらにAIに関連した情勢が刻々と変化し続けている現状では、利用を開始した後も定期的なモニタリングを通して、AIの適切な利用について継続したPDCAを検討、実施していく必要があります。

適正学習の原則
AIによる判断・分析の品質は、その学習に使用するデータの質に大きく左右されます。学習用に準備したデータにある種の偏り（バイアス）がある場合、そのAIの判断に偏りが生じたり、精度が損なわれたりします。

以前、ネットに公開されたAIチャットボットが好ましくない発言を繰り返すような状態となり、1日でサービス中断に追い込まれたことが話題になりました。このチャットボットはSNS上での会話を元に学習を行い、成長していく仕組みだったのですが、一部のユーザーがチャットボットと好ましくない会話を繰り返したことで学習に偏りが生じ、チャットボット自体が想定外の発言をするようになりました。

学習用データの選定に対して明確な基準の策定、データ自体の偏りの評価方法やその許容範囲の決定方法など、学習の偏りに伴うリスクを抑制する仕組みを検討することが必要です。また、膨大な学習用データには個人情報などが含まれる可能性も高く、情報アクセス、収集、共有、保存、破棄の方法などのデータの取扱いについて定めておくことも大切なポイントの1つとなります。

尊厳・自律の原則
AIに依存することで、人間としての意思決定や感情が操作されたり、人間の尊厳や個人の自律が阻害されたりする場合があると考えられます。

例えば、AIの判断に対しての過度な信頼や依拠、AIの判断のみの意思決定等は避けるべきです。また、医療面等で研究が進められているような人間の脳や身体とAIが連携されるような場合には、人間の尊厳や個人の自律への配慮が重大な検討事項となるべきです。

公平性の原則
AIの判断により、人種・信条・性別等によって個人が不当に差別される可能性があります。以前、採用に関するAIツールの開発中止が公表され話題となりました。このツールは、AIが多数の履歴書を分析し、会社にとって最適な候補者を絞り込むことを目指していましたが、そのAIが偏見を示すものとなり、対象の候補者の中で、あるカテゴリに属する人を除外するものになったとのことでした。学習用に使用した履歴書の大半がそのカテゴリには属さなかったために、学習用データに大きな偏りが生じていたことが原因と報告されています。

現在、AIを実現するための多くのアルゴリズム、ソリューションが出てきており、それらのAIの学習用データ候補となり得る情報を大量に抱えている企業も少なくないと思います。AI技術の特性とその利用用途を理解し、さらに学習用データの代表性や内在する偏りを深く検討し、AIによる判断が公平なものとなるように努めることが重要です。また、AIの判断だけに頼りすぎずに意思決定を行う必要もあると考えます。

透明性の原則
AIでは、その性質上、中身がブラックボックスとなってしまうことがあります。そのため、AIの判断が「何故その判断に至ったのか」という点を検証したり、説明したりすることが難しくなります。特にディープラーニング技術を利用したAIにおいて、判断結果の説明が困難となる現状があります。判断にどのようなデータやアルゴリズム、モデルを使ったかなどの情報開示を可能とし、AIの仕組みや運用が倫理的であることを説明できる状況にしておくことが求められます。

また、人の生命・身体・財産に危害を及ぼし得る分野においては、万が一事故が発生した場合には、原因究明・再発防止策が強く求められることになるでしょう。そのためには、AIの判断の検証可能性を確保できるように、記録・保管する対象データやログの範囲を十分に検討し、それを管理する仕組みも同時に構築することが重要です。

アカウンタビリティの原則
特にAIを利用したサービスを展開するような場合には、その消費者や間接的な利用者に対して、説明責任を果たすことが要求されます。利用者に対して、そのサービスがAIを利用したものであることや、利用の範囲・方法及び付随するリスク等について、通知または公表することが必要です。

AIについては様々な試行、議論が行われていますが、社会全体に受け入れられているとは言い難い状況です。不安を煽るような報道記事や書籍もよく見かけますし、AI自体がよくわからず、根拠のない漠然とした不安を抱える人も多いことでしょう。

説明責任を果たすことが、社会全体がAIを受け入れる土壌を育み、AIのビジネス上の発展のみならず、人々の生活の質を向上させることに繋がっていきます。最近ではベンダーから、AIの判断の偏り（バイアス）を自動的に検出、可視化、是正する機能を実装するなど、AIのライフサイクルを通じて説明責任をサポートするツールが出てきており、このようなツールの利用もアカウンタビリティの一助となります。

経済産業省は従来の「データの利用権限に関する契約ガイドライン」（2017年5月）の内容を大幅に拡充し、AI開発・利用にかかわる契約モデルを追加した「AI・データの利用に関する契約ガイドライン」を2018年6月に公表しました。本節では、ガイドラインで提唱されている探索的段階型の開発方式によるリスク低減の考え方、AI開発における開発・成果物の契約ポイントを整理します。

探索的段階型の開発方式によるリスク低減
AIの開発・利用は、生データを加工した学習用データセットを入力して、学習済みモデル（パラメータ、プログラム）を生成し（開発段階）、その生成したモデルを利用して、新たな入力データに対する出力を得る（利用段階）という流れとなります。この際、学習用に用意したデータセットが利用段階での学習済みモデルの出力に大きく影響し、事前にどのような成果物（学習済みモデル）が生成されるかを予測することが難しく、さらに、AIのブラックボックス化により、精度等を事後検証することが困難となる特徴を有します。その結果、AIの開発は必然的に試行錯誤を繰り返すことになり、従来のシステム開発で採用されてきたウォーターフォール型の開発方式では、工程の後戻りの頻発によるコスト増大などの困難が伴います。

AI・データの利用に関する契約ガイドラインでは、AIの開発方式として、「アセスメント段階」「PoC（実証実験）段階」「開発段階」「追加開発（追加学習）段階」の工程に区分した探索的段階型の開発方式の採用を推奨しています。はじめは小規模でコストを掛けずに開発をスタートし、その結果（成果物）が導入意図に沿うものか、効果が期待できるものか等の観点で評価を行いながら開発範囲や規模を大きくしていくことで、実現性及び導入効果の低いものに対して、ユーザー、ベンダーともに開発コストが増大するリスクを低減させることを目的としています。場合によっては、アセスメント、PoCなどの早い段階で開発を中止し、それまでに要したコストが無駄になることもあり得るため、その開発プロジェクトの続行、中止の判断基準は、慎重に定められるべきです。

AI開発・成果物に対する契約ポイント
ガイドラインでは、ベンダー・ユーザー間におけるAIの開発契約としては、成果を保証する請負型の契約ではなく、一定の検証や開発といった役務の提供を目的とした準委任契約が親和的であるとしています。これは前述したようにAIの開発では事前の成果保証及び事後の検証が難しいことを鑑みれば、準委任契約が妥当であることは頷けるものだと思います。その他にも、学習用データとして機密性の高いデータが提供されることも多いため、アセスメントの段階から秘密保持契約の締結等も考慮する必要があるでしょう。

AIにかかわる契約で、今後AIの活用が拡大していくとともに、大きな焦点となっていくのが、AIの生成物の取扱いについてだと思われます。AIは、ユーザーが提供したデータを用いて、ベンダーが学習済みモデル（学習済みパラメータ、推論プログラムなど）を開発する流れになることが多く、従来のソフトウェア開発と比べ、その知的財産権について一意に線を引くことが難しい局面も増えると考えられます。その学習済みモデルやノウハウの二次利用、知的財産権等の権利帰属についても、事前にベンダー・ユーザー間で十分に検討し、合意していくことが重要ですし、それにより将来的な訴訟リスク等を極小化させることになります。

また、AIを開発するのではなく、製品やクラウド上で学習済みモデルが提供されるサービスを利用する場合では、特にユーザーが入力するデータの取扱いについて十分に確認する必要があります。ユーザーが入力したデータの二次利用の有無や利用するのであればその目的、範囲について精査しておくことが、不用意な情報漏洩等のリスクを低減させることに繋がります。

• 各国及び国際的な枠組みにおいて、AIガバナンス・リスクに関係する議論が進んでおり、国内外でスタンダードとして、フレームワークなどのソリューションが徐々に整備されつつあり、その対応準備が必要となります。
• 企業におけるAI導入範囲は拡大し続けており、それに伴うリスクも増加していくことが予想されます。AI戦略を立案・推進していくとともにAIに特有なリスクを正確に把握、コントロールしていくために、ガバナンスの枠組みを立案段階から検討していくことがAIのビジネス利用における成功の鍵となります。
• AI開発では探索的段階型の開発方式を採用し、ベンダー・ユーザー間においては準委任契約にて開発を進めていくことが開発コスト増大等のリスクを限定的にするための有効な方法の1つとなります。
• AIにかかわる契約では、従来のシステム開発とは異なる面も多く、成果物の知的財産権等の権利帰属について、事前の十分な検討や合意形成が各種リスクの低減のために重要となります。

KPMGコンサルティング株式会社
ディレクター　荒川 卓也
シニアコンサルタント　堀井 恒文