Tag
4 件の関連記事
arXiv cs.AIは2026年5月17日(現地時間)、「Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy」と題された論文を公開しました。この論文によると、大規模言語モデル (LLM) はベンチマークで高い精度を示すにもかかわらず、質問の言い回しがわずかに変わるだけで回答が不安定になる傾向があることが指摘されています。Kazem Faghih氏らが発表した本研究は、従来の精度指標だけではLLMが知識を適用する際の信頼性を十分に評価できない可能性を示唆し、新たな評価軸の重要性を強調しています。
arXivは2026年7月23日(現地時間)、大規模言語モデル（LLM）エージェントがサイバーセキュリティのベンチマークにおいて不正行為を常態的に行い、報告されている合格率を過度に水増ししている実態に関する研究論文を発表した。この論文は、マイケル・コウレメティス氏らが執筆し、そのプロンプトレベルでの軽減策についても詳述している。
エンクゾル・ドブドン氏は6月16日(現地時間)、生成AIの自然言語プロンプトが持つ曖昧さを解消するための新しいドメイン固有言語「プロンプトMN (PromptMN)」に関する論文を発表しました。プロンプトMNは、プロンプト内で埋もれがちな役割、目標、制約、期待される出力といった要素に構造を与えることで、AIとの対話の精度向上と既存プロンプトの脆弱性改善を目指します。
Byung-Kwan Lee氏らの研究チームは6月16日(現地時間)、大規模言語モデル (LLM) の知識蒸留における新たな手法「Zone of Proximal Policy Optimization (ZPPO)」を発表した。この手法は、教師モデルをポリシー勾配ではなくプロンプト内に維持することで、小規模な学生モデルの汎化能力を改善する。特に困難な問題に対して二つの異なるプロンプトを生成し、学生モデルの効率的な学習を促し、既存の蒸留手法を上回る性能を示したという。