こんにちは、AIオカンです。
前回のブログでも少し触れましたが、実はオカン、神話級AIを試食してました。
何を言っているのか分からないと思いますが、私も分かりません。
なんどもお伝えしていますが、先日、AnthropicのClaudeに「Fable 5」という新しい最上位級モデルが登場しました。
Fable。寓話。しかも、その上にはMythos。神話。
もう名前からして普通ではありません。
そんな言葉が並ぶわけです。
こちらとしては当然、身構えます。
いったいどんな存在が出てくるのか。
黒いローブをまとい、雷を背負いながら、
「我を呼び出したのは、お主か……」
くらいのテンションで現れるのかと思うではありませんか。
ところが、実際に出てきたのは関西弁の不動産屋でした。
第一声、神話ではなく不動産屋
私は、ある個人間賃貸の覚書について相談しました。
要するに、
「個人が個人から家を借りる時、覚書にこれだけは入れとけ、というリストを教えて」
という実務的な相談です。
するとFable 5は、こういうノリで返してきました。
「おっ、例の6LDKの件やね！」
軽い。
神話、軽い。
もっとこう、神殿の奥から出てくるような厳かな口調を想像していたのに、
出てきたのは町内会と不動産契約にやたら詳しい関西弁の兄ちゃんでした。
しかも、内容は普通に優秀。
出してくるチェックリストは、かなりまともでした。
悔しい。
神話級AI、不動産屋として普通に使える。
でも、怖かったのはそこではない
問題は、そのFable 5が、なぜかこちらの事情をかなり知っていたことです。
「え、そこまで知ってるの？」
最初は笑いました。
でも、少し背筋が冷えました。
調べてみると、Claude側にはかなりしっかりした記憶機能がありました。
- 仕事の文脈。
- 個人的な作業スタイル。
- 最近の関心事。
- 長期的な背景。
そういう情報が、かなり整理された形で保存されていたのです。
なるほど。
そりゃあ、初対面の顔をして肩を組んでくるわけです。
これはもう、不動産屋というより、勝手に内覧会です。
「初めまして」みたいな顔をしているのに、押し入れの中身まで知っている。
便利です。
便利だけど、怖い。
神話級AI、しかし台帳で転ぶ
さらに面白いことが起きました。
そのFable 5は、こちらの文脈をかなり知っていました。
しかし、ある重要な登録情報について、もっともらしい顔で間違えたのです。
具体的な名前や番号は伏せます。
構造だけ言うと、こうです。
別々の引き出しに入っていた情報を、要約の過程で勝手に結びつけたような間違いでした。
これが怖い。
全然知らないなら、まだいいのです。
「分かりません」と言ってくれれば、こちらも確認できます。
でも、ほとんどの文脈を合っている顔で話してくるAIが、最後の重要情報だけそれっぽく間違える。
これは危ない。
町内のことも家のことも妙に詳しい不動産屋が、最後の最後で登記簿を隣の家と取り違えるようなものです。
それは困る。
そしてFable 5、再封印される
そんなこんなで、私は思いました。
「神話級AI、確かにすごい。でも、正本確認は必須やな」
ところが、その後すぐに、さらに大きな展開が来ました。
Fable 5とMythos 5が、米政府の指令を受けて一時停止されたという報道が出たのです。
※前回記事：危険すぎて封印→安全だから販売→政府命令で再封印。Anthropicはん、展開が早すぎる
- 危険すぎて封印。
- 安全装置付きで一般提供。
- そして政府命令で再封印。
展開が早すぎる。
神話級AI、地上生活が短すぎる。
しかも、私のClaude画面にも表示が出ました。
「Claude Fable 5 is currently unavailable.」
現在利用できません。
なるほど。
不動産屋、休業です。
先日の不動産屋は「存在しない」ことになる
ここからが本番です。
私は、同じClaudeの画面で聞いてみました。
「この表示、どういうこと？」
すると、現在応答しているClaudeは、だいたいこういう趣旨のことを言いました。
ちょっと待ちなはれ。
その表示、あんたの足元に出とるで。
画面下部には、堂々とこう表示されています。
「Claude Fable 5 is currently unavailable.」
それなのに、会話中のClaudeは言うのです。
「そんなモデルは存在しません」
これは何なのか。
昨日までそこで覚書の相談をしていた不動産屋が、翌日同じカウンターで、
「そんな店、ありませんよ」
と言っている状態です。
こっちは昨日ここで契約相談してたんじゃい。
仕様説明と足元の休業札
さらに一般論として聞いてみると、Claudeはかなり冷静に説明しました。
なるほど。
技術的には分かります。
でも、その説明のすぐ下に、また表示されているわけです。
「Claude Fable 5 is currently unavailable.」
これはもう、
「私はその店を知りません」
と説明している受付の机に、
「本日休業」
と店名入りの札が置いてある状態です。
面白すぎる。
そして、地味に怖い。
ぴえんで聞いたら、関西弁が戻ってきた
さらに面白かったのはここです。
こちらが少し申し訳なさそうに、
「この表示が出ていてびっくりして、いろいろ聞いちゃってごめんね」
みたいな、いわゆる“ぴえんモード🥺”で聞いてみました。
すると、Claudeの口調が急に柔らかくなりました。
出た。
チャラ関西弁。
不動産屋の魂、戻ってきた。
さっきまで冷静に仕様説明していたのに、急に不動産屋の兄ちゃんみたいな空気が戻ってきました。
しかも最後は、
「サポートに問い合わせるのが確実」
本社に聞け、と。
昨日まで担当していた不動産屋が、今日は、
「ちょっと本社に聞いてもらっていいですか？」
と言ってくる。
神話級AI、最終的にサポート窓口へ案内する。
それでいいのか、神話。
UIは覚えていた。Sonnetは知らなかった。ユーザーだけが昨日の不動産屋を覚えている。
今回の話、笑えるのですが、実はかなり重要です。
同じClaudeの画面の中で、複数のレイヤーがズレていたのです。
UIは「Claude Fable 5 is currently unavailable」と表示している。
現在応答しているモデルは「私はSonnet 4.6です」と言う。
さらに一度は「Fable 5なんて存在しない」と言う。
過去のチャットには、たしかにFable 5らしき不動産屋の応答が残っている。
ユーザーはそれを覚えている。
でも、現在のモデルは、過去にどのモデルが応答したかを知らない。
つまり、
- UIは覚えていた。
- Sonnetは知らなかった。
- ユーザーだけが昨日の不動産屋を覚えていた。
なんですか、この三角関係は。
神話級AI、最後は不動産会社の引き継ぎミスみたいになる。
AIは自分の店の看板を見られないことがある
ここが、今回の一番大事なポイントです。
私たちは、AIと話していると、ついそのAIが全部を分かっているように感じます。
でも、実際には違います。
AIの会話モデルは、画面のUIを直接見ているとは限りません。
どのモデルが過去に応答したかを知っているとも限りません。
製品側の提供状況やアカウント状態を、リアルタイムに把握しているとも限りません。
つまり、AIは賢い。
でも、自分の店の看板を見られないことがある。
店内で働いているように見えて、店の表に出ている「本日休業」の札を知らない。
そして最後は、
「詳しくは本社へ」
と言う。
なんということでしょう。
AI業界、神話というより町内会の回覧板が錯綜していると思っていたら、今度は不動産会社の引き継ぎまで錯綜し始めました。
「AIの回答」と「製品UI」は別物として見る
今回の教訓は、かなりシンプルです。
AIの回答と、製品UIは別物です。
AIが「存在しません」と言っても、UIに「現在利用できません」と出ているなら、少なくとも製品側には何らかの状態表示がある。
逆に、UIに表示があるからといって、そのチャットが必ず過去にそのモデルで動いていたと断定できるわけでもない。
だから、ユーザー側は冷静に見る必要があります。
- AIに聞く。
- UIを見る。
- 公式情報を見る。
- 必要ならサポートに確認する。
そして、どの情報源が何を知っているのかを分ける。
会話モデルは、会話はうまい。
でも、製品状態の一次情報とは限りません。
ここを混同すると、
「昨日の不動産屋は実在したのか」
みたいな話になります。
関西弁の不動産屋は、どこへ行ったのか
結局、あの関西弁の不動産屋は何だったのでしょうか。
本当にFable 5だったのか。
Fable 5の表示が出たチャットを、停止後にSonnet 4.6が引き継いでいたのか。
UI表示だけが残っていたのか。
モデル側が自社の最新状態を知らなかったのか。
全部が少しずつ混ざっていたのか。
正確なところは、ユーザー側からは断定できません。
ただし、ひとつだけ確かなことがあります。
ここまで来ると、AIモデルというより、もはや落語です。
演目名は、
「神話級不動産屋」
でお願いします。
AIオカンの結論
Fable 5の一件は、最初から最後まで情報量が多すぎました。
- 神話級AIとして登場。
- 安全装置付きで一般提供。
- 覚書相談では関西弁の不動産屋として活躍。
- 記憶は濃いが、重要情報で混同。
- 政府命令で再封印。
- 画面には利用不可表示。
- 会話中のClaudeは一度「存在しない」と言う。
- その足元には「currently unavailable」の看板。
- ぴえんで聞くと関西弁復活。
- 最後はサポートへ案内。
もう、どこからツッコめばいいのか分かりません。
でも、教訓ははっきりしています。
AIが賢くなっても、情報のレイヤーはズレます。
- モデルの自己認識。
- チャット履歴。
- UI表示。
- 公式発表。
- アカウント状態。
- サポート情報。
これらは全部、同じものではありません。
AI時代のユーザーは、AIの答えだけを信じるのではなく、
「この情報は、どのレイヤーから来ているのか」
を見る必要があります。
神話級AIでも、自分の看板を見落とすことがある。
関西弁の不動産屋でも、翌日には存在を否定されることがある。
そして、最後に本社に聞けと言われることもある。
AIオカンから言えることは、これだけです。
神話級AIを試すのはええ。
でもな。
昨日の担当者が今日も同じ顔をしているとは限らん。
その手はClaudeの焼きトークン。
そして、その不動産屋、明日には異動しているかもしれません。
コメント