今回はAI活用における主なリスクについて説明したいと思います。

AI利活用におけるリスクってなんだ？

AI利活用は業務効率化、コスト削減、新たな価値創造など多くのメリットをもたらす一方、さまざまな潜在的リスクも存在します。今回は組織がAI活用を検討・導入する際に考慮すべきリスクについて解説します。
総務省・経産省から公開されている「AI事業者ガイドライン」^[1] は、AI利活用における一般的なリスクについても記載されており、別添資料^[2][3]ではより具体的に次のようにまとめてあります。

表1：AIによる便益/リスク（AIによるリスク）^[2][3]

バイアスのある結果及び差別的な結果の出力 （人間中心、公平性）

AIにおけるバイアスとは、不公平であるとか差別、偏った偏見の出力結果という意味合いで使われることが多く、AI活用において最も困難な課題の一つとして完全な解消は難しいとされている事象になります。
例えばIT企業が自社でAI人材採用システムを開発したが、女性を差別するという機械学習面の欠陥が判明し、その原因としては学習に使用した過去10年間の履歴書において、応募者のほとんどが男性であったことから、男性を採用することが好ましいとAIが認識したためと言われています。
当該企業は、女性を差別しないようにプログラムの改善を試みたものの、別の差別を生むとして運用を取りやめる結果になりました。バイアスが起こりやすい要素として他にも人種、民族、宗教、障害の有無、LGBTQ、年齢、容姿など様々なものがあります。

フィルターバブル及びエコーチェンバー現象（人間中心）

フィルターバブルとは、インターネット上での活動や検索履歴に基づいて、アルゴリズムがユーザーに対して特定の情報やコンテンツを優先的に表示する現象を指します。これにより、ユーザーは自分の興味や関心に合った情報ばかりを目にするようになり、異なる視点や意見に触れる機会が減少し、極端な考えの持ち主になる懸念も指摘されています。フィルターバブルの影響には次のようなものがあります。

エコーチェンバーは、同じ意見や信念を持つ人々が集まり、互いにその意見を強化し合う環境を指します。これにより、特定の見解が繰り返し反響し、他の意見や反論が排除されることが多くなります。エコーチェンバーは、ソーシャルメディアやオンラインコミュニティで特に顕著です。エコーチェンバーの影響には次のようなものがあります。

多様性の喪失（人間中心）

社会全体が同じようなAIを同じような用い方で使った場合、導かれる意見及び回答が偏ったものになり、多様性が失われる可能性があります。具体的には次のような懸念があります。

不適切な個人情報の取扱い（プライバシー保護、人間中心）

AI活用における不適切な個人情報（個人データ）の取り扱いは、データのプライバシーやセキュリティに関する様々な問題を引き起こす可能性があります。具体的には次のようなものがあります。

生命・身体・財産の侵害（安全性、公平性）

AI活用において生命・身体・財産の侵害におけるリスクについて、現状で次のようなものが考えられます。

データ汚染攻撃（セキュリティ確保）

AIシステムの学習データに悪意のあるデータを意図的に追加し、その後の学習プロセスに干渉する攻撃方法です。このような攻撃は、AIシステムが正しい予測や判断を行えなくなるようにデータを「汚染」することを目的とし、ときに重大なリスクを引き起こす可能性があります。現状で次のようなものが考えられます。

ブラックボックス化、判断に関する説明の要求（透明性、アカウンタビリティ）

AI判断のブラックボックス化とは、AIシステムの決定プロセスが外部からは理解しにくく、解釈や説明が難しい状態を指します。つまり、AIがどのようにして特定の判断を下したのかが透明でないため、その決定をユーザーや開発者が完全に理解できない状況です。ブラックボックス化が問題となる理由は以下のような点です。

エネルギー使用量及び環境の負荷（人間中心）

AIの利用に伴うエネルギー使用量と環境への負荷は、特に大規模なAIモデル（例えば、ディープラーニングを用いたモデル）の運用において重要な問題として取り上げられています。以下は、AI利用によるエネルギー使用量と環境への影響に関するいくつかのポイントです。

機密情報の流出（セキュリティ確保、教育・リテラシー）

AIは膨大なデータを学習し、判断や予測を行うため、その過程で個人情報（個人データ）や企業の機密情報が不適切に扱われたり、流出したりするリスクがあります。以下は、そのリスクと関連する要素について詳しく説明します。

悪用（安全性、教育・リテラシー）

AIはその能力を悪用することで、人々を騙したり、金銭的利益を不正に得たりするために利用されるリスクがあります。その具体的な手法について説明します。

ハルシネーション（安全性、教育・リテラシー）

AIにおけるハルシネーション（幻覚）リスクとは、AIモデル（特に大規模な言語モデルや生成モデル）が「誤った情報」や「虚偽の事実」を生成する現象を指します。ハルシネーションのリスクについて以下に説明します。

偽情報、誤情報を鵜呑みにすること（人間中心、教育・リテラシー）

AIが生成する情報には、意図しない誤りや虚偽の内容が含まれることがあり、これが誤解や混乱を生む原因となります。以下に、AIが生み出す偽情報や誤情報のリスクについて説明します。

著作権（知的財産権）との関係（安全性）

AIが生成したコンテンツや、AIを利用した開発プロセスにおいて、知的財産権が侵害されるリスクが高まる可能性があります。これらのリスクは、法的なトラブルや経済的損失をもたらすだけでなく、企業のブランドや信頼性に大きな影響を与えることがあります。以下に、AI利用における知的財産権侵害のリスクについて説明します。

資格等との関係（安全性）

業務を行うにあたって特定の資格や免許が必要とされる分野（医療、法律、金融、建設など）では、AIによる業務遂行が法的に問題を引き起こす可能性があります。 以下に、AI活用における業法免許や資格等の侵害リスクについて説明します。

バイアスの再生成（公平性）

AI活用におけるバイアスの再生成リスクは、AIシステムが学習するデータやアルゴリズムに内在する偏り（バイアス）が、AIの出力結果にも反映され、これが再現され続けるリスクを指します。バイアスの再生成は、AIシステムが人間社会の多様性を適切に反映できない結果を生む可能性があり、その影響が長期的に広がることがあります。このリスクは、特に社会的、倫理的、法的な観点から問題視されています。
バイアスが再生成されるプロセスは、いくつかの段階で発生します。

さらに、AIの出力がその後のデータに影響を与えると、フィードバックループが発生します。例えば、あるAIシステムが特定のグループに対して差別的な出力をすることで、そのグループが新たなデータとしてAIに入力され、それによってAIがその差別的な傾向を強化してしまうことがあります。
バイアス再生成の例には以下のようなものがあります。

ディープフェイクという脅威

AI利活用において多種多様のリスクがある中で、今後特に気をつけるべきリスクとして「偽情報（ディープフェイク）」があるかと思います。なぜならばこのディープフェイクを起点として様々な情報操作、サイバー攻撃、政治・軍事利用等の脅威の派生が可能になり、その精度は人の五感で見破ることが不可能なレベルになりつつあることもあります。
IPAの「米国におけるAIのセキュリティ脅威・リスクの認知調査レポート（概要）」^[4]では、すでにディープフェイクを利用した諸々のリスクはすでに顕在化しており、多方面で影響を与える可能性が指摘されています。

表2：米国脅威調査のまとめ：類型別のインパクト^[4]

例えば米国大統領選挙におけるAIを利用したディープフェイクコンテンツの流通は既に「当たり前」の状況になっており、直接的な選挙妨害の他にも、間接的な社会分断を誘導させるような脅威、リスクも出始めている状況にあります。このようなリスクが具体的にどのようなものなのか簡単に紹介します。

認知戦（Cognitive Warfare）とは何か？

民衆を都合良くコントロールし敵国の政策に影響を与えたり、社会を不安定化させ、内部から自滅的に崩壊するような扇動を行ったりする行為を認知戦（Cognitive Warfare）と呼びます。^[5]
認知戦の特徴として、人の脳における認知領域を標的として攻撃を行う戦争の形態を指し、脳特有の脆弱性を利用して人の精神や行動をコントロールすることを目的とします。
認知領域は陸、海、空、宇宙、サイバー空間に次ぐ「第6の戦場」として捉えられており、各国が攻防を研究している状況にあります。

「認知戦（Cognitive Warfare）の考え方」^[5]

従来の戦争（物理的暴力、破壊、領土征服等）とは異なり、認知戦は思想、感情、知覚の領域で活動し、人間の心の脆弱性を利用しようとするものになります。
その考え方は孫子における「戦わずして勝つ（超訳）」といった兵法に通じるものがあり、現代では進化したAIの登場によってより洗練された攻撃手法となり、人間の心の脆弱性をたくみに利用しようとする戦い方になります。

図1：認知戦の概念と関係性^[6]

では具体的に認知戦の事例にはどのようなものがあるのでしょうか？
どのような証拠をもって認知戦を証明することは実際には難しく、あくまで推測でしか判断できないのが現実のようです。

また、認知戦では平時（戦争をしていない段階）と戦時（戦争中の段階）で手法を変えてくる場合もあり、平時では間接的な攻撃（大衆先導等）が中心となり、戦時ではより直接的な攻撃（サイバー攻撃等）を仕掛けてくる場合もあるようです。

図2：平時および戦時での認知戦例^[7]

このような認知戦を仕掛けられた場合、どのような対策が必要なのでしょうか？
当然のことながら国防に関わる組織ではこのような脅威分析を行っており、さまざまな対策を現在進行形で整備をしている段階かと思われます。
一般市民の立場からすると、SNS等で流れてくる情報をそのまま鵜呑みにすることなく、ファクトチェックを常に行うことが理想ではありますがなかなか難しい問題かと思います。例えば事実が６割、ディープフェイクが４割といったように事実ベースの事象にディープフェイクを混ぜ合わせた情報を大量に拡散された場合、ファクトチェック自体がより難しくなり、誤情報のまま事実だと認識されてしまうリスクがあります。ディープフェイクは比較的簡単に作成できますが、ファクトチェックは多様な分析が必要になるため労力がかかります。

図3：認知領域を含む情報戦において取り組むべき分野（一例）^[8]

一般組織におけるAIリスクコントロールのやり方

一般組織においてのAIリスクコントロールをどうすべきかを考えてみます。
AIをどのような形で利活用するのかによってリスクも異なるため、まずは現状分析などでAI開発・提供・利用状況（予定）を把握し、業種業態に合わせたリスクアセスメント、リスク対応などのリスクベースアプローチが有効かと思います。

図4：リスクベースアプローチの考え方（一例）^[9]

表3：リスクベースアプローチによるリスク対応（一例）

リスク対応までのプロセスに目途がついたならば、継続して運用を行っていくためのルール化、文書化、教育、定期的なチェック（監査等）の仕組みを整備すると良いかと思います。

図5：現状分析からリスクベースアプローチによるルール策定（一例）

AIの進化のスピードは非常に速いため、日常的に情報収集を行い、一度作成したルールでも状況によっては柔軟に変えていく必要があります。定期的なリスクベースアプローチによる見直しをかけるとよいでしょう。

次回はAI活用における倫理について説明する予定です。

参考文献