AIが生成した誤情報への対処
AIモデルの推論の欠陥により生じるリスクと結果を最小化
AIが生成した誤情報は増加しており、問題が増大しています。Googleやいくつかのファクトチェック組織の研究者によると、AIモデルによって作成された誤解を招くコンテンツの量は、2023年半ばから劇的に増加しています。
私たちの多くは、効率化、イノベーションの推進、サイバーセキュリティの強化などにAIを活用したいと考えています。ただし、AIは誤った情報を生成する力もあり、個人や企業、社会に深刻な影響を与える可能性があることに注意する必要があります。
AIモデルはどんな誤情報を生成することがありますか。なぜ不正確な情報を生成するのですか。また、組織の利益と公共の利益の両方を保護するために、セキュリティリーダーとして何をすべきですか。
AIモデルの限界
AIが生成した誤情報の問題は、現在のAIモデルの限界に起因しています。AIモデルが新しいライブデータから推論したり結論を導き出す能力であるAI推論についてよく耳にしますが、筆者が以前に書いたように、AIモデルはまだ本当の意味で推論できるわけではなく、ライブデータから有意義なインサイトを生成する能力は完璧とは程遠いものです。
AIモデルが大いに優れているのは、事実に基づいた答えを提供することです。大規模言語モデル（LLM）に、コロンバスが南北アメリカに到達した年を教えてくださいと求めれば、モデルの構築方法や学習方法に問題があった場合を除き、正しい答えが得られるはずです。
しかし、AIモデルは、ある見解を事実であるかのように伝える可能性もあります。ヨーロッパ人が南北アメリカに入植する権利を持っていたかどうかと尋ねると、AIモデルは、それが一つの見解であるとは言わずに、その見解を提供するかもしれません。ビジネスの文脈では、企業のAIベースのチャットボットは、事実よりもマーケティングコンテンツから得られた製品情報を顧客に提供することができます。
また、AIモデルは複数の競合する意見を提示する可能性があり、別の意味で役に立たないかもしれません。ChatGPTのようなLLMに、史上最強の野球選手は誰かと尋ねると、複数の意見を提示し、それぞれに対する一般的な議論を提供します。これらの意見や議論のいずれも「間違っている」わけではないかもしれませんが、このモデルは、優れた視点と悪い視点を適切に区別できないかもしれません。
AIが生成する誤情報の原因は何ですか
不正確な回答、事実として提示された意見、同等の価値があるように提示された複数の意見はすべて、誤った情報とみなされる可能性があります。この誤情報は、意図的に、または意図せずに作られた可能性があります。
意図的
AIモデルは特定の答えを生成するよう操作される、または「ポイズニング」される場合があります。例えば、サイバー攻撃者は、特定の企業がLLMのトレーニングに使用するデータのポイズニングを行うかもしれません。攻撃者は、AIチャットボットやAIベースのアプリケーションで悪い回答を生成するようLLMを不正利用し、企業の面目をつぶして評判を落とそうとするかもしれません。
もちろん、モデルのポイズニングはサイバー攻撃者だけの仕業ではありません。政治家の候補者や政府は、意図的にAIモデルにデータを導入したり、他の操作テクニックを使用して偽情報を拡散させようとする場合もあります。
別のシナリオは、個人や組織が意図的にデータや情報を操作して、特定の見方を強化する可能性があるということです。テレビのニュースネットワークは、政治家を肯定的に描いて、その政治家が当選する可能性が高いことを示唆するために、選挙モデルから特定のデータを意図的に除外することがあります。
例えば、ネットワークは、ある政治家に有利なデータポイントを選択的に取り上げ、望ましくないデータを無視することがあります。ネットワークは同じような方法で、論争があることや政治家の失敗は無視して、成功の事実や前向きな政策提案を強調する語り口を作り出す可能性もあります。
非意図的
誤情報は、意図的でない場合もあります。組織が認識のないままバイアスのあるデータをモデルに与え、歪曲された結論につながる可能性があります。同じテレビのニュースネットワークを例に考えてみますと、ネットワークは、何の悪意もなく、誤って一部の情報を軽視したり、他の情報に重みを付ける場合があります。その結果は、やはり誤解を招くような予測をもたらすモデルになります。 多くの場合、モデルが誤った情報を提供してしまうことは、単にデータが不足しているためです。正確な回答を提供するだけのデータが収集されていない可能性があります。さらに、情報の順序が意思決定にとって重要である場合、モデルへのデータ入力のタイミングも問題につながる可能性があります。
特に、AIモデルは閉鎖的で不透明なシステムに存在することが多いため、誤情報の原因を見つけ出すこと、またそれが意図的な行為の結果であるのかを判断することは、非常に困難な場合があります。従来の機械学習（ML）では、モデルの背後で行われる決定を見て理解できます。しかし、ニューラルネットワーク上に構築されたLLMでは、決定ロジックは隠れたレイヤー内でマスクされています。LLMはデータを要約し、（ユーザーから見ると）魔法のように答えを提供します。ユーザーは、決定プロセスを閲覧できません。その結果、誤った情報の可能性がある情報のソースを簡単に見つけることができません。
AI誤情報の影響
個々の人は、AIが生成した結果に基づいて、不十分な情報に基づいた意思決定を行う可能性があります。例えば、AIベースのチャットボットが誤った回答をした場合、投資、医療、法律、職業に関連した不適切な意思決定につながる可能性があります。
企業のリーダーも同様に、AIが生成した誤った情報に基づいて、不適切な意思決定を行う可能性があります。AIモデルが間違ったタイプのサイバーセキュリティの脅威を強調し、セキュリティリーダーが間違った仕方で戦略を調整したり、最適とは言えないソリューションを実装したりすることになるかもしれません。より一般的には、リーダーは人間による管理を十分せずに、AIが生成したインサイトを信頼するかもしれません。AIモデルは、微妙な人間の要因や倫理的考慮事項を考慮していないかもしれません。
さらに悪いことに、脅威を完全に見逃す可能性もあります。例えば、お客様のチームがマルウェアサンプルの一部として8つのレジストリーキーを提出したとします。モデルは、これはマルウェアではなくソフトウェアであると誤って判断する可能性があります。なぜでしょうか？以前に提出されたマルウェアには、8つを超えるレジストリキーを持つものはなかったためです。結果として、組織は、この以前のテンプレートに適合しないマルウェアに対して脆弱になる可能性があります。
誤情報は、一個人や企業にとどまらず、広範な影響を及ぼしかねません。例えば、主要な上場企業に関する誤った情報が広がると、金融市場が不安定化する可能性があります。同様に、国に関する偽情報は、地政学的な関係や外交政策に影響を与える可能性があり、AIモデルはこれらの問題をさらに悪化させる可能性があります。
期待を調整する
問題は、AIモデルが誤った情報を生成するだけでなく、AIが生成した答えは常に正しいと仮定していることです。他社のセキュリティチームとのやり取りの中で、AIは正しい答えを示してくれて、単に問題を解決してくれるものと考える人がいることに筆者は気づきましたが、これは問題です。
AIモデルは絶対的なものではありません。必ずしも、単一の決定的な答えを提供してくれるわけではありません。たとえば、地図ソフトウェアを例に挙げましょう。たとえば、マッピングアプリにいくつかの州の先にある目的地までの車のルートを作成するように依頼すると、複数の選択肢を提供してくるかもしれません。ソフトウェアには、最速の経路を計算するのに十分なデータがない可能性があります。あるいは、安全でない高速ルートを推奨する場合もあります。
また、アプリは、メリットとデメリットが異なるいくつかの選択肢を提案するかもしれません。たとえば、ダイレクトに行けるものの、面白みのない高速道路のルートを提示するかもしれません。また、やや時間はかかるものの、もっと景色の良いルートも提案するかもしれません。どちらが良いですか？「正しい」答えはひとつだけではありません。
また、将来起こることをAIモデルが正確に予測することも期待しがちです。モデルは結果を予測することができますが、その予測は過去の出来事やデータに基づいています。より関連性の高い新しいデータが出てきた場合、既存のモデルにそれを組み込む必要があります。それでも、モデルは何が起こるかを確実に知ることはできません。次に起こることを100％の精度で直感的に把握することはできないのです。
AIに対する期待の調整が重要です。もちろん、AIが誤った情報を生成する可能性を減らすためにできる限りのことを行う必要もあります。
誤情報との闘い
AIモデルが生成する誤った情報を減らすために役立つ戦略は複数あります。これらの戦略を組み合わせることで、期待を抑えつつも、推論エラーを最小限に抑えることができるでしょう。政府がAIの利用に関する新しい規制（EUのAI法や米国のFTCのOperation AI Complyなど）を制定するにつれて、罰金やその他の規制上の措置を回避するために、誤情報対策戦略の実装が不可欠になります。
より多くのデータを収集：一般的に、最も多くのデータを持つAIモデル開発者は、正確な応答を生成する上で最適な立場にいます。しかし、データの収集は最初のステップに過ぎません。モデルビルダーとアプリのビルダーは、このデータを特定の問題に対処できる機能に変換する必要があります。
データの品質と完全性に関する対策を実施する：データガバナンスが不十分であると、誤情報がもたらされる可能性があります。AIモデルが、不完全、不正確、一貫性のないデータ、破損、誤ったデータ、外れ値などのデータに基づいて構築されると、誤った回答を導き出すことになります。定期的なチェックと監査を実行して、データソースが正当で、改ざんされていないことを確認する必要があります。
出力の検証：入力データの検証に加え、使用パターンやプロンプトを監視しながら、LLMが生成するものをフィルタリングする必要があります。出力の検証により、意思決定に誤った情報を使う前に、意図的または非意図的な誤情報を特定することができます。実際にAIモデルを使って、他のAIモデルの出力（および入力）を検証することができます。そうすることで、回答が事実上正確な範囲内にあることを確認することができます。
オープンソースモデルへのアクセスを制御する：シャドーAI（特にオープンソース、公開AIモデルの不正使用）は、企業における誤情報の影響を増幅させる可能性があります。企業内でのこれらのモデルの使用を監視することで、機密情報が漏洩するのを防ぎ、従業員が誤った情報に基づいて意思決定を行うリスクを最小限に抑えることができます。
内部モデルのセキュリティの強化：厳格なアクセス制御、バージョントラッキング、暗号化、デジタル証明書によって内部AIモデルをロックダウンすることで、意図的ポイズニングや意図しないポイズニングを防ぐことができます。改ざんや盗難の試みを見つけるために、モデルの使用方法や展開方法を注意深く監視する必要があります。
誤情報攻撃に備える：すべての組織は、誤情報攻撃に備える必要があります。DDoS攻撃やランサムウェア攻撃に備えるのと同じように、攻撃の検出、イベントの報告、被害の封じ込め、お客様、パートナー、一般の人々への問題の伝達についても計画しておきます。この計画のほとんどは、典型的な危機コミュニケーション戦略と整合させるべきでしょう。
人間の判断を使用する：現実とそうでない事柄を見分けることが必要ですが、AIに関連して、これはより困難になっています。たとえば、「ディープフェイク」は遥かに現実的になってきており、時間とともに強力になってきています。一方、個人や組織は、AIが生成した偽の記事、ソーシャルメディアの投稿、投稿に対するコメントを数多く作成しています。残念ながら、ある考えや主張される事実に遭遇すればするほど、たとえそれが本物でなくても、私たちはそれが本物だと考えがちです。
誤った情報や偽情報を受け取っているかどうかを判断するには、人間の判断が重要になります。必要なのは、質問に対する正しい答えを知ることではなく（正解が1つだけの場合）、過去の経験に基づいて答えにさまざまな可能性があるかどうかを単に判断することです。これは、誰かが大げさであったり、大胆な話をしたりするのと同じようなものです。何が真実で、何が虚構であるかを判断しなければなりません。クリティカルシンキング、透明性、継続的学習の環境を作ることで、AIが生成した誤情報がもたらすリスクを軽減することができます。
AIの誤情報の未来
AIが私たちの日常生活や仕事においてますます重要な役割を果たすことは間違いありません。AIの近い将来ともっと先の将来に備えるために、AIが生成した誤情報の可能性を認識し、その結果を最小限に抑える方法を見つける必要があります。
人工知能（AGI）の成長は、モデルの潜在的な問題をより適切に特定するのに役立つ可能性があります。より人間に近い知能を生み出すことを試みるこの分野は、AIモデルの閉鎖的システムを開く可能性があります。モデルが特定の答えにたどり着いた経緯を判断し、その答えが正しくない可能性があるかどうかを判断できるかもしれません。
しかし、今のところ最も重要なツールは、私たち自身の強力な人間の推論能力です。情報に対して懐疑的になる必要があります。何かを読んだり、動画を視聴したからといって、それが真実とは限りません。誤情報に対抗する最善の方法は、昔からの一般常識を使うことです。
この記事は、技術関連の意思決定者に影響を及ぼす最新のトレンドとトピックについてお伝えするシリーズの一環です。
このトピックを深く掘りさげてみましょう。
CISO向けAIを安全に活用するためのガイドで、生成AIを大規模に構築、使用、保護する方法をご覧ください。
著者
Grant Bourzikas — @grantbourzikas
最高セキュリティ責任者、Cloudflare
記事の要点
この記事では、以下のことがわかるようになります。
AIの誤情報がもたらすもの
AIモデルの欠陥のある推論に基づいて意思決定を行うことの結果
誤情報との闘い方