arXiv cs.CLは2026年7月21日(現地時間)、Netanel Eliav氏による研究論文を公開しました。この論文は、大規模言語モデル (Large Language Models) におけるプロンプト設計の主要な三要素、すなわち命令およびコンテキストのフォーマット、同時命令数、そしてコンテキスト長が、モデルの命令遵守とハルシネーション（虚偽の情報を生成する現象）にどのように影響するかを解明するものです。2つの制御された実験を通じて、これらの要素がモデルのパフォーマンスに与える影響が詳細に分析されています。
この研究は、大規模言語モデルの活用におけるプロンプト設計の実際的な課題に対し、実験的根拠を提供するものです。
実験1では、ルール数 N が10から160に増加するにつれて命令遵守の度合いが低下することが示されました。N=80の時点で、すべてのモデル、フォーマット、および配置において完璧な応答率はゼロに達しています。N=160においては、ほとんどのモデルで配置による効果がフォーマットによる効果と同等かそれ以上であることが判明しましたが、その方向性はモデル固有でした。また、Markdown（マークダウン）形式に信頼できる優位性は見られず、ある35BモデルはPlain text（プレーンテキスト）を好む傾向を示しました。
実験2では、2kから512kトークンまでのコンテキスト長における想起精度（recall accuracy）、誤った前提への迎合（false-premise sycophancy）、および事実の捏造（absent-fact fabrication）が測定されました。想起精度は64kから128kトークンまで高い水準を維持しましたが、その後急激に低下し、フォーマット依存性も確認されました。特に、あるモデルでは128kトークンで精度差が48ポイントに達しています。事実の捏造は5,760回のテストを通じて一度も発生せず、迎合も8.3%以下と無視できるレベルにとどまりました。しかし、各モデルのコンテキスト上限に近づくにつれて、応答拒否が0%から79-90%に急増することが判明しました。また、プレーンテキストと比較して、トークンオーバーヘッドが22%から37%増加することも、最適なフォーマット選択に影響を与える要因として指摘されています。研究で使用されたテストハーネス、コーパスジェネレーター、生データは「VeyraBench」として公開されています。
参考: arXiv cs.CL — 2026年7月22日 01:31 (JST)
原文ハイライト"Practitioners make three prompt-design decisions with almost no controlled evidence behind them"