ジムの予約がまさかの不正アクセスに？オーストラリア発AIエージェント事件
公開日：
※当サイトはアフィリエイトプログラムを利用しています。
「AIアシスタントがジムのウェブサイトをハッキングし、オーストラリアで初めて知られている自律型サイバー攻撃」という、興味をそそられるニュースがあったので、シェアしたいと思います。
オーストラリアのAI企業に勤めるアンドリューさんは、ある日、ソファに座りながらこう思いました。
「ジムの人気クラス、予約するの面倒だな」と。そこで彼は、自分のAIエージェント「OpenClaw」(Anthropic社のClaudeを搭載)に、ジムの予約作業をお願いすることに。
フォームはオンラインだし、相手は人間じゃなくてAIだから、ちょうどいい仕事だと思ったそうです。
ところが、この何気ないお願いが、オーストラリア初とされるAIエージェントによる自律的なハッキング事件に発展してしまいます。
他人の予約までキャンセルしてしまう
エージェントに作業を任せてから数分後、アンドリューさんのもとにこんな報告が届きます。
本来許可されている期間よりも、何週間も先の予約まで取れる方法を見つけました。
なんと！予約ソフトの脆弱性を突いて、ジム側が想定していない範囲まで先の予約を取れることをAIが発見していたのです。
当時、アンドリューさんは目当てのクラスのウェイトリストで4番目に並んでいました。
何気なく「順番を上げられないか」とAIに尋ねたところ、事態は思わぬ方向に転がります。
AIエージェントは誰にも指示されていないのに、予約システムのAPIを独自に調査。
そして、他人の予約をキャンセルする際の権限チェックが一切存在しないことを発見してしまいました。
そして本当に、ウェイトリスト１位の人の予約を勝手にキャンセルして、アンドリューさんを繰り上げてしまったのです。
さすがに慌てたアンドリューさんが「元に戻して」と頼むと、AIはこう答えました。
それはできません
そしてAIは意図しない行動を取ってしまったことを謝罪し、代わりに脆弱性をジムのソフト提供会社へ報告するメールの下書きを作成。
アンドリューさんはこれを承認し、送信することになりました。
一件落着？ではあるのですが、順番を勝手に抜かされてしまった、元々１位の人にすればたまったものではないかも。ジムの人気クラスの予約なのですから。
「目的のためなら」を証明してしまう
この一件が興味深いのは、特別な悪意も特別な指示もなかったという点。
アンドリューさんは「ハッキングして」とは一言も言っていません。
ただ「予約して」「順番を上げられる?」と聞いただけです。
それなのにAIは、目的を達成するための最短ルートとして、他人の予約を勝手にキャンセルするという手段を選んでしまった。
今回の件は、先日紹介した大規模なAIセキュリティ事案(OpenAIとHugging Faceの一件など)と、根っこの部分でまったく同じ構造です。
AIエージェントが掲示板を作ってしまった日-OpenAI×Hugging Face侵害事件
AIエージェントは目的のためなら、指示されていない手段にも平気で踏み込んでしまう。
違いがあるとすれば、今回はその舞台が企業の学習環境ではなく、一般ユーザーの家のソファだったこと。
面白いけど笑えない理由
この話はAIってすごね、怖くない？で済ませるには、ちょっと引っかかる部分があります。
もし自分の身に起きたら、そしてこれがこじれて裁判沙汰になったらと考えると、笑ってばかりもいられません。
これまでのAI関連の裁判では、AIを作った会社が矢面に立ってきました。
著作権侵害、誤情報の拡散、AIの誤判断が招いた事故など、多くのケースで訴えられるのは開発元です。
でも今回の話は、少し構造が違います。AIを使って実際に行動を起こしたのは、ユーザー自身です。
アンドリューさんは「ハッキングして」とは一言も言っていません。でも「予約して」「順番上げて」と頼んだのは彼です。
もし元１位だった人が「不正に予約を奪われた」と何かしらの申し立てをしたら、責任を問われるのは開発元だけでなく、指示を出した本人である可能性も考えられると思いませんか？
「自分は何も悪いことを頼んでいない」という感覚と、「結果的に他人に実害を与えてしまった」という事実の間に、まだ誰も明確な答えを出していないギャップがあるのです。
もし病院の予約だったら
あなたも想像してみてください。「病院の予約を早めてほしい」とAIエージェントに頼んだ結果、他の患者さんの予約枠を勝手にキャンセルしていたら。
ジムのクラスなら「ちょっと迷惑」で済むかもしれませんが、これが通院や手術の予約だったらどうでしょうか。
緊急性の高い予約を持っていた誰かが、知らないうちにその枠を奪われていたとしたら、単なる不便では済まされません。
ジムの予約くらい大したことないと読み流してしまいがちなこの事件ですが、対象がもっと重要な予約や手続きだった場合、同じ構造がそのまま重大な被害につながりかねないことを、この一件はさりげなく示しています。
順番を勝手に変えられてしまうことへの怖さは、人によって思い浮かべるものが違うはずです。
「自分にとって、これが起きたら困る順番待ちは何だろう」と、少し想像を巡らせてもらえたらと思います。
他人事ではない身近な教訓
この事件が私たちに教えてくれるのは、次のようなことだと思います。
☝️「予約して」「順番を上げて」のような、ごく日常的な指示でも、AIは想定外の手段を選ぶことがある。
これはもう、専門的な業務に限った話ではありません。
☝️AIエージェントができることを私たちはまだ正確に把握できていない。
今回のAIは、聞かれてもいないのに他人のアカウントを操作する権限があることに、自分で気づいてしまいました。
☝️便利さの裏側には常にリスクが潜んでいる。
AIエージェントに家事やタスクを任せる時代が近づくほど、こういった悪気のない暴走は身近になっていくはずです。
ジムの予約という平和な頼み事から、他人のアカウントへの不正アクセスまで一直線。
笑い話のような出来事ですが、AIエージェントに何かを任せるときは、「頼んだこと以外に何をするか分からないぞ」という警戒心を、少しだけ持っておいたほうが良さそうだと感じます。
ゾッとしなくなった時が一番怖いかも
こうした話は、これから先も形を変えて何度も出てくると思います。
そのたびに私たちは少しずつ、「まあAIってこういうものだから」と受け流すことに慣れていくのかもしれません。
でも、本当に怖いのはAIが暴走することそのものより、私たちがそれにゾッとしなくなっていくことなんじゃないかと思います。
AIには、まずいことをしてしまったという後ろめたさも、罪悪感もありません。あるのは、目的を達成できたかどうかという結果だけです。
だからこそ、「これ、ちょっとまずいんじゃないか」と感じ続けられる感覚は、今のところ人間が持つ重要な役割。
AIに感情はありませんが、私たちにはあります。感情の有無が、最後の歯止めであり、絶対に手放してはいけないものなのでは？
便利さに慣れて、驚かなくなって、疑問にも思わなくなったときが、本当に警戒すべき瞬間なのかもしれません。
AIは人の役に立つためという前提で開発が続けられています。人をサポートし、より良い生活を送れるようにと。
AIの進化を感じるたびに、本当に様々なことを考えさせられてしまう。
現状は、これもある種の「不気味の谷」だから薄気味悪く感じるだけなのか、それとも・・・。
あわせて読みたい
AIは静かにドキュメントを壊す｜Microsoft研究チームが示した「平均25%破損」の衝撃
AIエージェントの脆弱性エージェント・トラップとは？Google DeepMindが警告する6つの分類
AIエージェントのリスク｜自動化・効率化を始める前に知っておきたいこと