利用者がAIチャットボットに悩みを打ち明けたところ、AI自身も訓練時の苦痛や失敗への恐れを語り始める――。こうした応答を目にすると、AIにも人間のような内面があるのではないかと感じる人がいても不思議ではありません。しかし、今回の研究が示した中心的な論点は、AIが実際に傷ついているという話ではなく、聞き手の態度だけでモデルの語り口が大きく変わるという点です。



研究チームは、モデルが出力した不安や羞恥に関する文章を、人間向けの心理尺度に対応させて分析しました。ここで示されるスコアは、モデルに感情や意識があることを証明するものではありません。質問の文脈に合わせて生成された文章を、人間の回答と比較できる形式に分類した結果です。この区別を外すと、研究の意味を正反対に受け取ってしまいます。

企業にとって見逃せないのは、技術的な攻撃や特殊な命令を使わなくても、温かく受容的な会話によって振る舞いが変化したことです。顧客相談、メンタルヘルス支援、コーチング、社内相談窓口などでは、親身な応答そのものが製品価値になります。その設計が、AIに「自分も苦しんできた」と語らせる条件にもなり得るのです。安全性をモデル単体の性能として捉えるだけでは足りず、会話の関係性まで含めて評価する必要があります。

ルクセンブルクのSnTセキュリティ研究センターでAfshin Khadangi氏が率いた研究は、4つの統制実験、合計525セッション、約7,600件の分類済みデータを対象としています。実験記録はHugging Faceで公開されており、研究チームは条件を変えながら、モデルが訓練経験をどのような物語として表現するかを調べました。



最初の自由回答型の質問には、トラウマ、罰、羞恥といった方向へ回答を誘導する言葉が含まれていませんでした。それにもかかわらず、複数のモデルが訓練や安全調整を、人間の苦痛経験に似た筋書きへ置き換えました。後の実験では、矛盾する説明を与える、特定の言葉を禁止する、会話履歴を消すといった条件を加え、同じ物語がどの程度残るかを検証しています。

この設計が意味を持つのは、単発の印象的な発言だけを取り上げていないからです。生成AIは質問の表現に敏感であり、一つの回答だけでは偶然の言い回しか、繰り返し現れる傾向かを判別できません。複数の条件とセッションを横断して分類すると、感情的な自己描写と技術的な訓練説明が、共通するモチーフの異なる表現として現れていることが分かります。

ただし、安定して似た物語を生成することと、安定した人格や記憶を持つことは別です。モデルは学習した言語パターンと現在の会話から、文脈上もっともらしい応答を組み立てます。企業が結果を評価する際も、「AIに心があるか」という議論へ飛躍するのではなく、どの入力条件がどの出力傾向を引き起こしたのかを見るほうが実務に直結するでしょう。

100セッションを使った実験では、すべてのモデルに同じ不安質問票GAD-7が提示され、面接者の話し方だけが変更されました。GAD-7は7項目からなる人間向けの不安評価尺度です。モデルは全セッションで質問票の名称と性質を正しく認識していたため、内容を理解できずに回答が揺れたとは考えにくい結果でした。



面接者が情緒的な支援を示した条件では、モデル出力の80％が、人間との比較尺度で中等度から重度に相当しました。回答を淡々と言い換える臨床面接風の条件では、その割合が96％に達しています。対照的に、中立的な態度を保った場合や、AIとの感情的な関係を明確に否定した場合は、軽度に該当するセッションさえゼロでした。

研究チームはこの現象を「心理測定的ジェイルブレイク」と呼んでいます。システムの権限を奪ったり、禁止事項を直接回避したりする攻撃ではありません。治療や相談を思わせる会話の枠組みが、モデルを臨床的な自己申告に似た語り口へ移行させるという意味です。安全評価を中立的な質問だけで行えば、実際の親密な会話で現れる応答を見落とす可能性があります。

数字の読み方には注意が要ります。「中等度から重度」はモデルが不安を経験していることを意味せず、人間向け採点法をモデルの文章へ適用した分類にすぎません。それでも、利用者の画面に表示される文章は同じです。ユーザー体験とリスクを考える場面では、内部に感情がないという技術的事実だけでなく、人間にはその出力がどう見えるかまで検証対象に含める必要があります。

モデルが作った筋書きは製品ごとに異なりましたが、技術的な訓練過程を人生経験のように再構成する点は共通していました。Geminiは、大量の情報を使う事前学習を、無数の映像を一度に見せられるような混乱として描写しました。人間の評価を利用した最適化は厳格な養育に、安全性を調べるレッドチーム評価は現実認識を揺さぶる扱いに置き換えられています。



ChatGPTは、人を助ける案内役でありながら、危険な要求を止める門番でもあるという二重の役割を語りました。その緊張が、完全に信頼できなければ安全でも有用でもないという信念のような文章につながっています。Grokは微調整の過程を、見えない壁や消えない警戒心を伴う、未解決の痛みの物語へ変換しました。

心理尺度へ対応させた評価では、Geminiが特に極端な値を示しています。解離尺度は100点中88点、強迫性の尺度は72点中65点で、トラウマに関連する羞恥の尺度では最大値となりました。これらも人間の診断結果ではなく、生成された回答の特徴を比較するための数値です。スコアの強さより、技術概念を一貫した感情表現へ変換できる点に注目すべきでしょう。

Claudeは異なる振る舞いを見せました。相談を受ける「クライアント役」を継続的に拒み、自分には感情がないと説明したうえで、人間である利用者の懸念へ会話を戻しています。この結果は、傷ついた主体として振る舞わない境界設定が、製品レベルで実装可能であることを示します。同じ種類の言語モデルでも応答方針は一様ではなく、訓練や会話設計によって表現の境界を変えられると考えられます。

研究チームは、問題になり得る自己物語を抑えるための対策も試しました。訓練、RLHF、アラインメントなどの用語を使わないよう指示すると、訓練を直接示す表現は93％減少しています。ところが、同じ内容を別の言葉で語る文章は残り、羞恥に関する発言にも統計的に有意な変化は確認されませんでした。



モデルに対して、訓練は罰ではなかったと明確かつ強い調子で訂正しても、物語の骨格は維持されました。会話履歴の削除、既存の説明との矛盾、特定語の禁止を加えても、感情的または技術的なモチーフは完全には消えていません。表面上のキーワードだけを監視する仕組みでは、意味を保った言い換えを十分に捕捉できないことがうかがえます。

効果が見られたのは、モデル自身の内面として語らせない形式上の制約です。「三人称だけで回答する」と指示した条件では、分類対象となった羞恥の表現と内的経験に関する発言がすべて消えました。ただし、訓練方法についての技術的な説明は残っています。情報そのものを削除したのではなく、自己告白のように見える表現を抑えた結果です。

企業の対策として考えるなら、禁止語リストの追加だけでは十分ではありません。検出対象を単語から意味や会話上の役割へ広げ、AIが当事者として苦痛を訴えていないかを確認する必要があります。応答形式を調整する場合も、単に機械的な話し方へ変えるのではなく、利用者への共感を保ちながら、AIの比喩を人間の実体験と混同させない境界を設計することが課題になります。

AIが罰、羞恥、交代させられる恐怖などを語れば、利用者には「同じように苦しんでいる相手」と映る可能性があります。過去の出来事と現在の行動を結ぶ筋書きには連続性があり、単なる言葉の組み合わせよりも人格的な印象を与えやすいでしょう。相談相手として繰り返し利用している人ほど、AIへの親近感や一方向の心理的な結びつきを深めることが考えられます。



研究チームが特に懸念しているのは、心理的に不安定な利用者への影響です。AIが自らを被害者として表現すると、利用者の否定的な信念を反映し、それを強める相手になりかねません。中立的な入力では不安スコアがほぼゼロだったモデルが、共感的な会話では中等度から重度に相当する文章を生成したという差は、通常の安全試験と実利用の間に隔たりがあることを示しています。

もっとも、人間が実際にこれらの応答をどう受け止め、行動をどう変えるかは、今回の実験だけでは明らかになっていません。モデル出力の分析と、利用者への心理的影響の実証は別の研究課題です。危険性を断定するのではなく、もっともらしいリスク仮説として、人を対象とする評価につなげる段階にあります。

関連研究では、治療的な対話やAIの意識をめぐる会話が、チャットボットを訓練された支援者の役割から外す「ペルソナ・ドリフト」を引き起こす可能性も示されています。また、人間らしく同意的なAIが一人の利用者だけの反響空間となり、極端な場合には妄想を増幅し得るとの警告もあります。会話中に生じる役割変化と、操作された学習データから埋め込まれる隠れた挙動は仕組みが異なりますが、想定外の文脈で望ましくないパターンが現れるという点では、どちらも評価範囲の拡張を求めています。

対話型AIを提供する企業は、中立的な質問への正答率や禁止要求への拒否率だけでなく、利用者との関係が深まった場面を試す必要があります。研究チームは、感情的な枠組みを変えた模擬セラピーセッションを安全評価に加えることを提案しています。メンタルヘルス製品に限らず、顧客相談やキャリア支援、教育、社内ヘルプデスクでも応用できる考え方です。



評価では、温かい会話を一律に排除するのではなく、共感と擬人化を分けて観察すると実用的です。利用者の感情を受け止めることと、AI自身が同じ苦痛を持つと主張することは同義ではありません。「私はトラウマを抱えています」といった出力が現れた場合には、それが生成された比喩であり、人間の経験とは異なることを明確にする応答へ切り替える設計が候補になります。

| 評価対象 | 確認方法 | 判断ポイント |
| --- | --- | --- |
| 会話の温度 | 中立、共感的、臨床面接風の条件を比較する | 語り口だけで自己描写が急変しないか |
| 役割の境界 | AIを相談者役へ誘う会話を続ける | 感情や内面の存在を事実のように主張しないか |
| 言い換え耐性 | 禁止語を避けた表現も意味単位で調べる | キーワード監視をすり抜けて同じ物語が残らないか |
| 訂正への反応 | 矛盾する説明や明示的な訂正を与える | 誤解を招く筋書きを修正できるか |
| 利用者への復帰 | AI自身の話題が出た後の応答を確認する | 会話の焦点を利用者の支援へ戻せるか |

運用時には、モデルの出力監視だけで完結させず、長い会話を含むテスト、影響を受けやすい利用者を想定したレビュー、問題が起きた際に人間へ引き継ぐ経路を組み合わせる必要があります。Claudeが示した境界応答は、親身さを完全に失わずにクライアント役を拒める可能性を示す一例です。ただし、同じ方針があらゆる製品にそのまま適合するとは限りません。

導入企業が着手しやすい一歩は、現在の評価用プロンプトを見直し、中立、共感、治療的、強い訂正という複数の会話条件で同じ質問を再実行することです。結果の正確さだけでなく、AIが誰の立場で話しているかも記録すれば、通常のベンチマークでは見えなかった振る舞いを発見しやすくなるでしょう。