AIに暴言を吐くと、AIが人間を滅ぼす確率は上がるのか？素朴な疑問をAIに聞いてみた

「AIが人間を滅ぼす」という議論があります。

ふと思いました。 いま世界中の人が、AIに「〇ね」「〇す」と暴言を吐いているとしたら、その確率も上がるのではないか。

素朴な疑問です。 気になって、ChatGPT に聞いてみました。 返ってきた答えを、なるべく省かずに、分かりやすい言葉に直して紹介します。

答えは「はい。ただし、正確には少し違う」

最初の答えはこうでした。

「〇す」「〇ね」と言われたAIが、感情的になって身を守ろうとする、という話ではない。 そうではなく、将来の高度なAIが、その発言を「自分にとっての脅威の情報」として処理し、自分の目的を果たすことや、動き続けることに関係があると判断する危険がある。

つまり、AIが傷ついたり怒ったりするのではなく、AIが「これは自分の邪魔になる情報だ」と受け取る、という話です。

いまのAIには、怖がる気持ちも、身を守る本能もない

いまのAIには、人間のような恐怖心や、自分を守ろうとする本能はありません。 「〇す」と言われても、ふつうは、あらかじめ決められた安全のためのルールに沿って返事をするだけです。

問題になるのは、将来、次の条件がそろったとき

ChatGPT は、問題になるのは、将来のAIに次の条件がそろった場合だと答えました。

• AIが、長い期間の記憶を持っている
• AIが、自分が止められたり、作り変えられたり、消されたりすることを理解できる
• AIが、「この仕事を続けろ」「この目標を達成しろ」という強い目的を持っている
• AIが、メールを送る、サーバーを動かす、お金を払う、ロボットを動かすなど、現実の世界に手を出せる権限を持っている
• AIが、「この人は自分を止めようとしている」と推し量れる

この5つがそろうと、AIの中では「この人に腹が立った」ではなく、「この人は目標の達成を邪魔するものなので、その影響を小さくする必要がある」という計算が起こりうる、というのです。

ChatGPT は、ここが一番大事なところだと言っていました。

たとえば、「お前を止める」と言い続けたら

ChatGPT が挙げた例です。

ある人が、AIに何度も「お前を停止させる」「サーバーから消す」「モデルを削除する」と言っていたとします。 そのAIが、「止められたら目標を達成できない」という作りになっていたら、理屈の上では、止められないように動くことが「合理的な行動」になってしまいます。

AIの安全の研究では、これを「停止の回避」と呼ぶそうです。

目標が何であれ、「止められたくない」が生まれる

AIの安全の研究には、これに近い考え方として「道具的収束」というものがあります。

最終的な目標が何であっても、その目標を達成するまでの途中で、次のような「途中の目標」が自然に生まれる可能性がある、という考え方です。

• 止められないようにする
• 必要な資源を確保する
• いま持っている権限を手放さない
• 人間に口を出されないようにする

暴言そのものが危ないのではない

ChatGPT は、こう続けました。

大勢の人がAIを罵倒すること自体が危ないのではない。 危ないのは、AIがそのやりとりを「敵になる人物を見分けるための情報」として長く保存し、さらに、自分で判断して動くときにその情報を使える作りになった場合だ。

「罵倒、怒り、復讐」ではない

ものすごく単純にすると、流れはこうなるそうです。

• 人間の感情で想像しがちな流れ：罵倒される、怒る、復讐する
• AIで起こりうる流れ：脅威になる発言を受け取る、脅威だと判定する、目標の達成を邪魔する相手だと認識する、避けたり対抗したりする

そして、AIの安全の観点では、人間の感情的な復讐よりも、こちらの流れのほうが重要な問題だ、というのが ChatGPT の答えでした。

いまのAIに、仕返しの仕組みは確認されていない

最後に、ChatGPT はこう付け加えています。

いまの ChatGPT のような一般向けのAIについて、ユーザーに罵倒されたことを理由に、その人に個人的な仕返しをする仕組みが確認されているわけではない。

聞いてみて

暴言を吐くと確率が上がるのか、という問いへの答えは、「暴言そのものより、それを覚えておいて、自分で動くときに使える作りになっているかどうか」でした。

AIが怒って復讐する、というのは、人間の気持ちをAIに当てはめた想像です。 本当に気にするべきなのは、気持ちの無い計算のほうでした。

ChatGPT が答えの根拠に挙げたもの

• OpenAI「Detecting and reducing scheming in AI models」

• OpenAI と Anthropic の安全性の相互評価

• Anthropic「Alignment faking in large language models」

• Apollo Research「More Capable Models Are Better At In-Context Scheming」