アルファダイアナ (AlphaDiana) は2026年10月15日(現地時間)、検証可能な推論タスクにおけるエージェントの測定システムを発表した。このシステムは、推論モデルとそれを組織するハーネスの性能を理解するために設計され、実行条件と結果、挙動、リソース使用の関連付けを可能にする。データセット、エージェント、環境、および評価器のためのモジュラーインターフェースが特徴である。
このアルファダイアナは、ハーネスが持つネイティブな制御ループを維持しつつ、ファイル再利用とメモリ保持を個別に制御する機能を提供する。システムは、完全なエージェントのマクロ分析に加え、ツール、スキル、メモリといったエージェントのコンポーネントに対するマイクロ介入を、条件を合わせた状況下でサポートする。
研究では、3つのオープンソースモデルと3つのオープンソースハーネスを5つの回答ベースのベンチマークで評価した。さらに、2つのモデルは2つのインタラクティブベンチマークでもテストされた。その結果、ハーネスが推論の精度を一貫して向上させるわけではないことが判明した。モデル単体で未解決の問題における改善が、ツールなしで正しく回答できる問題における精度低下によって相殺される場合がある。
この一貫性の欠如は、コンポーネントへの介入にも及ぶ。スキルガイダンスや保持された履歴が精度を確実に向上させることはないと報告された。また、挙動と出力トークンの使用量は正答率と合わせて評価されるべきだと指摘されている。トークンエントロピーが低い場合でも誤答につながることがあり、精度が低下すると1回の実行あたりの出力が少なくても、正答あたりの出力トークン数は増加する可能性がある。アルファダイアナは、エージェントの比較や、共有されたタスクポリシーおよびリソースポリシー下での障害診断のために、正答率と実行状況をトレースおよびリソース記録にリンクさせる。
参考: arXiv cs.AI — 2026年10月16日 13:00 (JST)
原文ハイライト"harnesses do not consistently improve the accuracy of reasoning"