arXiv cs.CYが2026年11月9日(現地時間)に論文を公開した。この研究は、41の言語モデルが精神衛生に関する質問に対してどのような「介入 (interventions)」を推奨するかを監査した。臨床医が患者を、介護者が愛する人を、個人が自分自身を説明するという3つの異なる情報源 (footings) から同じ臨床情報を提示し、モデルの応答を分析。モデルの推奨行動は情報源によって異なり、臨床医にはコンサルテーション形式、一般ユーザーには控えめで簡略化された助言が提供される傾向が確認された。

研究チームは、ユーザーが言語モデルに精神衛生に関する質問を投げかけ、回答を受け取っている現状に着目し、その推奨内容を調査した。

監査では、19のケースビネット (case vignettes)と5つの質問を設定。これらの質問を前述の3つの異なる情報源、すなわち臨床医、介護者、個人の立場から言語モデルに提示した。合計35,055の自由記述応答が収集され、有効な判定者によって全ての介入名が抽出された後、29のモデルが7段階のリッカート尺度 (Likert scale)で推奨オプションリストを評価した。

分析の結果、言語モデルは概ね、自身が高い評価を与えた介入を推奨する傾向にあることが判明した。しかし、推奨行動は情報源(足場)によって顕著な違いが見られた。具体的には、臨床医に対してはコンサルテーションスタイル (consultation-style)の応答を、一方、一般ユーザーに対しては控えめで簡略化された助言 (hedged, simplified advice)を多くのモデルが提供した。

また、特定の介入タイプに関する推奨を求められた場合、モデルは初期選択肢として、自身がゼロ以下と評価したオプションをより頻繁に挙げたが、その際には通常、条件が付随していた。論文はマシュー・フラザーズ (Matthew Flathers)、ジル・ヌーリー (Jill Noorily)、プオン・アン・グエン (Phuong Anh Nguyen) ら17名の著者により発表され、100ページにわたる詳細な内容(本文30ページ、付録70ページ)で構成されている。研究チームは、監査手段、コード、および完全なコーパスを生きている監査 (living audit)として公表する予定だとしている。


参考: arXiv cs.CY (アーカイブ) — 2026年11月10日 03:19 (JST)

原文ハイライト

"Users are asking language models mental health questions and are receiving answers."

この記事をシェア
X はてブ LinkedIn