arXiv cs.CRは2026年10月21日(現地時間)、ガンニ・ガレア・クルミ (Ganni Galea Curmi) 氏とベン・ワイルド (Ben Wilde) 氏による、LLM (大規模言語モデル) を用いた脆弱性発見に関する研究論文を公開した。本研究は、エージェントハーネス (agent harness) とコンテキストが脆弱性発見の成果に与える影響を多角的に分析し、単一のモデル構成では全ての脆弱性をカバーできないことを明らかにした。特にプロンプトやCodeQLによるコンテキスト追加が、小型・中型モデルの検出精度を大幅に向上させる可能性を示唆している。
この研究では、非公開の脆弱性を含む実運用コードベースに対し、オープンソースのハーネスを用いて24種類のモデル-ランナー構成を調査した。解析パイプラインには、静的スクリーニング、LLM調査、モデルの自己再検証、根本原因のマッピング、独立したソースレビュー、概念実証の分離確認が含まれた。
確認された265件のセキュリティ根本原因において、最大の2ラン構成で60.4%がカバーされた一方、14.3%は単一のモデルのみによって発見された。単一の構成では全ての発見をカバーすることはできない結果となった。
4モデルを用いたコンテキスト実験では、最小限のプロンプトからCodeQLに基づくコールグラフを含むエンジニアリングされたプロンプトへの変更により、小型および中型モデルでは重要度加重の成果が20%から86%向上した。フロンティアモデルでは2%の向上に留まった。このうちエンジニアリングされたプロンプト自体は全4モデルで成果を向上させたが、CodeQLコンテキストの追加は最も小型のモデルでのみ成果向上に寄与した。フロンティアモデルは低い誤報率を達成するものの、常に最高の成果を出すわけではないことも判明した。さらに、費用が1桁低い強力な低コストモデルでも同等の性能を提供できる可能性が示されている。
これらの結果は、タスクに応じてモデル、プロンプト、コンテキストを適合させること、およびより広範なカバーのためには複数の構成を組み合わせることが重要である、という見解を支持している。
参考: arXiv cs.CR — 2026年10月22日 13:00 (JST)
原文ハイライト"Frontier models achieve low false-report rates but do not consistently achieve the highest yield."