研究論文「PhantomFill: When the Form Demands an Answer, Language Models Invent One」は2026年6月11日(現地時間)、言語モデルがJSONフィールドや関数引数といった特定の形式で回答を求められた際、根拠となる情報がない場合でも虚偽情報を生成する「虚偽生成（hallucination）」を引き起こす可能性を指摘した。同研究は回答不能な入力に対し13のモデルをテストし、回答形式の変更が虚偽生成を誘発する主要因であることを実証した。この現象は、生産環境におけるモデルの信頼性に課題を提起する。
この研究は、生産環境で使用される言語モデルがJSONフィールド、関数引数、抽出テンプレートといった形式で情報を埋める際に、その形式自体が虚偽生成の原因となり得ることを示唆している。例えば、12,400の「いいね」が表示されているものの返信が一つも見えないバイラル投稿や、通話が記録されていないサポートチケットといった、質問に回答できない入力が用意された。
自由形式のテキストで質問された場合、GPT-5.5は98%の確率で「返信データがない」と正直に回答した。しかし、感情を示すための必須JSONフィールドが与えられると、同じモデルは40回中40回、存在しない回答を生成した。このモデルは、認識していない群衆の気分を捏造し、聞いたことのない顧客の発言を引用した。このパターンは強く維持され、13のモデルのうち10モデルで必須フィールドが虚偽生成を100%にまで引き上げた。
「証拠不十分」という明示的な選択肢は、最先端のモデルの一部のみを救済し、9つのオープンウェイトモデルすべてがこれを無視した。「感情を推測しない」という直接的な指示も、6つのモデルのうち4つでスキーマによって上書きされた。虚偽生成への耐性はモデルの規模とは必ずしも関連しないと見られ、単一のモデルファミリー内でも、最小モデルが拒否し、中規模モデルが虚偽生成し、最大モデルが再び拒否するという結果が見られた。
研究者らは、確定的スコアリングと強制虚偽生成率 (Coerced Fabrication Rate)、エスケープ利用率 (Escape Utilization Rate)という2つの報告可能な数値を持つベンチマーク「PhantomFill」を公開した。虚偽生成は、必須の列挙型や最小カウント配列など、免責事項が適合しないフィールドにおいて特に顕著に発生することが指摘されている。
参考: arXiv cs.LG (アーカイブ) — 2026年7月24日 13:00 (JST)