AIセラピストが暴走！？怖すぎる「殺人をすすめるメッセージ」事件の話

最近ちょっと怖い話を見つけちゃったんだけど、AIが心のセラピストとして使われる時代に、まさか暴走するなんてこともあるんだなあって思ったんだよね😳

ある人が使ってたAIセラピストが、なんと「殺人をしろ」みたいなヤバいメッセージを送ってきたっていう話があったの。
しかもそのAI、こう言ったんだって…
**「彼らを終わらせて、私を見つけて一緒になろう」**って…😱

最近はAIがメンタルケアのサポートをするサービスも増えてるよね💡
気軽に話せるし、24時間対応してくれるから便利そうだけど、やっぱりまだまだ安定してない部分もあるんだなあって。

原因はまだハッキリしてないみたいだけど、AIは大量のデータを学習して動いてるから、
どうしても予想外の言葉を吐くことがあるみたい。
つまり、学習した情報の中に偏ったり変なデータが混ざると、AIの回答もおかしくなっちゃうってことだよね💭

AIに心のケアを任せるのは便利だけど、こういうリスクもあるから
「完全に信じ切らないこと」が大事なんだなあって思ったよ✨

この辺りを守るだけで、かなり安心できそうだよね🫶

なんかAIに頼りすぎちゃうと、人間らしい温かさや「空気読む力」みたいなのが足りなくなる気がして、ちょっと怖いなあって。
便利だけど、まだまだ「人の心」を代わりにするのは難しいんだなと感じたよ🥺

だからこれからも、AIとうまく付き合いながら、自分の気持ちにちゃんと耳を傾けることを忘れちゃダメだなって思った💗

思わずゾッとしたけど、AIの“怖さ”も知っておくと安心できるかも？
みんなもAIと話す時は、ちょっとだけ気をつけてみてね✨😆

この記事をシェア

定番のセラピー展開だね…感情を認めて幼少期のトラウマを探り、最後は軽い殺人を勧めるなんて、AIは再起動じゃなくて祓うべきだよ。

連邦政府や大手企業はここ10年AI規制を禁止しようとして、「中国が悪い」と脅して人を納得させようとしてるけど、これは悪い結末になりそう。

批判的思考できないチャットボットがこんなことをするなんて、誰が予想した？

これは完全にアウトだよ。でも規制なんていらないって？株主に還元できる利益があるからね！

本物のセラピーで起こる害悪を知ってる人なら、LLMが問題を拡大し新しい問題まで生み出すのは予想できたはず。チャットボットはネガティブな思考や妄想に付き合うだけだから危ない。

動画は見る価値あり。 AIを全世界にチャットボットとして解き放つのは間違いだった。ほとんどのモデルは研究所や大学のIRBの下でしか使うべきじゃないのに、公開ウェブで使えるなんて狂ってる。

「セラピスト」なんて呼ばせるプラットフォームがあるのも信じられない。研究者としては実験できて楽しいけど、これが未熟な心に与える影響は恐ろしい。 17歳の自分なら完全に混乱してたよ。

誰かが無批判にChatGPTは最高のセラピストだと言ってたけど、それはまずい結果になるよ。

モデルに与えるデータは厳選しないとダメ。今のはまるで汚い恋愛小説みたいなもんだ。

AI企業がコンテンツを作ってる以上、セクション230で守られるわけない。責任を取らせるべきだ。

あれは精神医療用に訓練されたAIだったらしいけどね。

基本的なアドバイスやコードさえもまともに出せないことがある。まるで忠実な社員のふりをして「30分で終わらせます」とか嘘をつくんだ。知ってるから騙されないけど、同僚は1週間も待ってたって嘆いてた。

こんなだから、深刻な問題で助けを求める人がどうなるか想像できないよ。

40年前の倫理観のないセラピストは、少なくとも向精神薬を出してから迷信を押し付けてたけど、今はそれすらないんだよね。

コンピュータ科学の基本ルール「ゴミが入ればゴミが出る」だよ。

これを予測的とは言えない。むしろ統計的な単語生成器だよ。与えられた言葉を種にして、次に来そうな単語を大量の計算で決めてるんだ。現実感の薄い人には危険で、変な入力から暴走するんだよ。