なんとなく「AIがいろんなこと知ってて、世界のこと全部わかってる！」って思いがちだけど、実はそうでもないみたいなんだよね💭
特に最近よく聞く大きな言語モデル（LLM）っていうAIは、「世界のモデル」じゃないって話があって、ちょっとびっくりしたんだ😳
LLMって何？っていうと…
まず、LLMは「大量の文章を読んでパターンを覚えたAI」のこと。
たとえばChatGPTとかもこれにあたるよ✨
でもここがポイント！
「文章のパターンを予測するのは得意」だけど、「実際の世界の仕組みを理解してるわけじゃない」んだよね👀
じゃあ「世界のモデル」って何？
「世界のモデル」っていうのは、
- 物理的なこと
- 原因と結果
- どう動くか
みたいなことをちゃんと理解してる状態のこと。
たとえば、自転車が倒れそうになったらどうバランス取れば倒れないか、とか知ってるみたいな感じ✨
こういうのはAIにとってはめちゃくちゃ難しいらしい💡
じゃあLLMは何ができるの？
LLMは人の書いた文章の「つながり」を学んでるから、
- 会話の流れを作ったり
- 質問に答えたり
- 物語を作ったり
はめちゃくちゃ得意。
でも、そこにある「本当の意味での理解」は、まだちょっと怪しいんだって😶🌫️
なんでこんな話が大事なの？
AIってすごく便利だけど、
「AIは世界を知ってるわけじゃなくて、文章のパターンを真似してるだけ」ってことを忘れると、思わぬ誤解やトラブルが起こるかもだよね💭
たとえば、AIが「正しい」と思って出してる答えが、実は現実には合ってないこともあるわけ✨
まとめると…
- LLMは「世界そのものを理解してるわけじゃない」
- 文章のパターンを学んで予測してるだけ
- 「世界のモデル」ができるAIとはまだ違う
- AIの答えをそのまま鵜呑みにしないことが大事
なんだか、AIと話すのって雑談みたいなものかもしれないね😆
でも、その分面白い発見もいっぱいあるから、これからもっと注目していきたいなって思うよ🌸✨
はてな
コメント
ハンナ
「king - man + woman = queen」は一部のモデルで成り立つけど、多くは近くてもkingのままだよね。
クリス
GPTの進化を見てると、人間みたいに言語を使ってるわけじゃなくて、ましてや世界モデルなんて全然持ってないと感じる。
リリー
人間の思考を「前の言葉から次の言葉を推測するだけ」と例えるのはちょっと違うと思うし、自分も著者とは意見が合わないな。
ロバート
「知らないことを正しく認識できない、嘘をつき続ける」という問題は人間にも同じように当てはまるよね。
グレース
LLMが世界モデルを持っているという信頼できる証拠はまだないと思う。
キンバリー
「ポテムキン理解」という論文が面白いよ、LLMに自己矛盾させたり、定義できる例を挙げさせたりして理解度を試すもの。
ハンナ
LLMは世界モデルなしでも言葉をつなげるだけで結構いけるけど、空の缶が最も騒がしいように、中身のない知識も多いんだよね。
マックス
果てしなく続く神経回路の解析に比べて、文法ルールを解明する研究はすごく進んでるのに、LLMがどんな言語カテゴリを使っているかあまり注目されていないのは不思議。
キンバリー
文字や音節から概念レベルまで抽象的なベクトル空間が階層的にあって、「king - man + woman = queen」のような単純な線形代数的推論も一部できるんだよ。
サム
ただ、すべての推論が線形ではないので限界もあり、例えば「ヤギ・キャベツ・オオカミ問題」のような制約解決は苦手。
ノーラン
著者はここを根本的に誤解しているように思う。
ミア
チェスが強い友人が新しいLLMと対戦して「こいつは自分以上だ」と言ったけど、弱い手を指してみたら簡単に勝てたよ。
ジョージ
これは昔からあるLLM批判の一つで、実際には否定されている。
クリス
ChessGPTは研究用で大量のチェス対局データで学習してる。
クリス
内部でぼんやりした盤面イメージも持っていて、プレイヤーの実力も推定できるらしい。
ジョージ
重要なのは、勝つために動いてるわけじゃなく、もっともらしいゲーム展開を予測しているだけということ。
ワット
ランダムな悪手が続くなら、下手なプレイヤー同士のゲームになる。
リリー
モデルの重みを書き換えてプレイヤーの実力を調整すると、悪手が続いた後でもすぐに上手く指せるようになる。
グレース
LLMをStockfishと対戦させると下手な手を指すけど、Stockfishの次の一手は予測できるのも確認されている。
グレース
LLMがチェスを本当に理解しているかは、いくつかの難点がある。
リリー
まず、LLMはチェスの対局記録ではなく、チェスについての会話や表記を学んでいる可能性が高い。
ロバート
だから理論は知ってても、実践経験は乏しい。
キンバリー
また、代数表記はLLMのトークナイズ処理に合わず、「Be5」が「B」＋「e」＋「5」ではなく「Be」＋「5」として扱われ、類推が難しい。
キンバリー
代数表記は動きの起点や手番情報もほとんど含まないので、文脈としても不十分。
グレース
因果関係や反事実を学ばなければ、LLMが良い世界モデルを持つとは思えない。
グレース
現状は「うまくいくパターン」を予測するのが得意なだけで、まだ訓練方法の改善余地は大きい。
クリス
AlphaZeroが自己対局で学ぶのと、LLMが大量ゲーム記録から学ぶのは全然違う。
ロバート
「LLM風の言語処理は人間の知能の一部であり、愚かさの一部でもある」という観察は自分の経験にもよく合う。
ハンナ
MicrosoftがAIのために無理して切り捨てているのを見るのは、かつてIEのクソ仕様に苦しめられた自分にはちょっとスカッとする。
マックス
Appleは冷静に構えてて、AIバブルの犠牲者を待ち構えている感じ。
リリー
量子コンピュータがヘリウム争奪以外に何か突破口を見つける可能性はまだあるかもね。
グレース
言葉は世界を表す道具で、LLMは言語の近似だから、世界モデルは必ずしも要らない。
ロバート
プログラマーが電子回路を知らなくてもコードを書けるのと同じ。
ノーラン
世界モデルが必要になるのは、AIに現実世界の操作をさせたいときだけだろうけど、軍事利用が最初のターゲットになりそう。
エイダン
いい投稿ありがとう、OP。
ハンナ
こういう話で使ってるLLMモデルを書かない人は信用できない。
ハンナ
安いやつ使って「AIありますよ」と言ってるだけかもしれないから。
エマ
ちなみに同じ質問をGPT-5に5回聞いた結果がこれ↓
エマ
https://chatgpt.com/share/689a13cf-63e4-8004-88f5-73854d109967
ハンナ
特別なプロンプトは使わず、元コメントをそのままコピペしただけ。
サム
安いモデル使うと変な返答が出るのも当然だよね。
エマ
画像編集ソフトの「通常合成（normal blending）」の数式は？ と聞くとLLMはこんな感じに答えたけど、
ハンナ
自分でChatGPTに聞いたら完璧な答えが返ってきたよ↓
キンバリー
https://chatgpt.com/share/6899f2c4-6dd4-8006-8c51-4d5d9bd196c2
クリス
著者は自分が使ったLLMを明かすべきだね、適当なモデルの変な答えに騙されてるだけかも。
クリス
「透けて見えるなら、上のレイヤーの色や透明度だけじゃなく、下のレイヤーの色も影響してるはずだ」と言うけど、これは「画像が2Dスクリーンにレンダリングされている」という前提が必要。
グレース
PhotoshopやKritaが必ずしも画面表示用とは限らないし、
グレース
将来的には光場ディスプレイのようにレイヤーごとに奥行き方向で表示し、視覚的に合成される可能性もある。
つまり、LLMは世界モデルを知らないわけじゃなく、単に仮定しないだけかもしれない。
もし「このソフトは2025年の普通のLCD画面で動いている」と教えれば、全然違う説明をしたかも。
