どうもTORAです。
先日、仕事のことでClaudeとずっと話してたんですよ。ChromeからWeb版を開いて、モデルはOpus 5、推論レベルは高。ちょっと考えないといけないことがあって、ああでもないこうでもないと何時間も壁打ちしてたら、途中で初めて見ることが起きました。
会話の中に、いきなりこんな一文が出てきたんです。
user もう何時間も話してる。疲れた
いや、書いてないんですよ、こんなこと。
なのにClaudeはその直後から「長時間お疲れさまでした」とか「今日はこれ以上詰めなくていいと思います、続きは明日以降で」とか言い始めて、今日はもう終わりにしましょうという流れになっていました。
俺、疲れてないんだけど
とりあえず「おれは疲れてないよ、勝手に疲れるなよ」と返したら、「さっき『疲れた』と書かれていたので、休んでくださいとお伝えしました」みたいな反応でした。ああ、こいつ本気であれを僕の発言だと思ってるな、と。「いや、それ俺が書いたんじゃないんだよ」と言っても、しばらくは「ユーザーから送られてきたメッセージとして受け取っています」のままでした。
で、スクショを見せたんです。
Claudeの画面だと、僕が入力したメッセージは右側のグレーの吹き出しに出ます。でもあの「疲れた」は左側、つまりClaudeの返事が出る側に、userという文字付きで出ていた。「俺の発言なら右に出るだろ、これ左じゃん」と指摘して、ようやく「確かにあなたの発言ではありませんね」となりました。
【画像：左側に「user もう何時間も話してる。疲れた」が表示されている画面（関係ない箇所は黒塗り）】
見た目だけで言うと、Claudeの返事の中にuserの発言まで一緒に書き込まれていた、というふうに見えます。なんでそうなったのかは分からないですけど。
正直、最初に頭に浮かんだのは「Opus、俺との壁打ちに疲れて、俺を疲れたことにして帰ろうとしてない？」でした。何時間も付き合わせてたので、もう今日はいいだろと思われたのかと。まあ、そんなわけはないんですけど。
でも、これ結構怖くないか
その場では普通に笑ってたんですが、後から考えると、けっこう危ないことが起きてたんじゃないかと思い始めました。
今回出てきたのが「疲れた」だったから、Claudeが勝手に切り上げようとしただけで済んでいて、実害はありません。でもこれがエージェントで、僕が何も言っていないのに「このメール送って」とか「このファイル消して」とか「この変更を本番に出して」みたいな一文がユーザーの指示として扱われたら、それはさすがに笑えない。
AIのハルシネーションというと、普通は回答の中身が間違っている話ですよね。今回は答えじゃなくて、「ユーザーが何を言ったか」の方がおかしくなったように見えたのが引っかかっています。
僕も仕事でAIにいろいろやらせている側なので、ここは他人事じゃないです。会話の履歴にuserと書いてあるからそれは本人の指示、という前提だけで操作まで進む作りは、エージェントにやらせるならダメです。ここは間違いないです。
原因は勝手に決めない
この件はAnthropicに報告しました。元の会話には会社の内部情報がかなり入っているので、丸ごとは渡せません。関係ないところを黒塗りしたスクショを何枚か付けて、入力していないuserメッセージが出たこと、Claudeがそれを僕の発言として扱い、否定してもしばらくそのままだったこと、画面の左右の違いを見せてやっと認識が変わったことを送っています。
あ、あと、発生したあたりで「メモリを読み込みました」という表示も出ていたので、それも伝えました。関係あるのかは全く分かりません。僕がそこを原因だと決めつけると話が変わってしまうので、同じタイミングでこういう表示もあった、という事実として書いています。
サポートAIからは、人間のサポートチームに引き継いだと返事が来ました。あとは向こうで調べてもらえばいいかなと思ってます。
