arXiv cs.LGは9月17日(現地時間)、「A Moving-Horizon Approximate Branch-and-Reduce Method for Deep Classification Trees」と題する論文を公開した。この研究は、解釈性の高さで評価される決定木が直面するスケーラビリティの課題に対応し、連続特徴量を持つ大規模データセットに対応可能なニアオプティマルな深層分類木の訓練手法を提案している。
提案手法は、既存のグローバル最適化手法が二値特徴選択や浅い木の深さに限定され、また従来のヒューリスティック手法が予測精度を犠牲にするという課題を克服することを目指している。
本手法は、階層的なルート-サブツリー最適化フレームワークに基づいている。このフレームワーク内で、ルートレベルの問題はbranch-and-reduceという手法を用いて解決される。これと同時に、ルート問題から誘導されるサブツリー問題に対しては、貪欲なヒューリスティック手法を適用して近似解を導き出す。
この近似プロセスは、強化学習の文脈で用いられるlookahead rolloutと同様の機能を持つ。これにより、特に深い構造を持つ決定木に対する訓練効率が大幅に向上する点が特徴だ。さらに、低コストで高効率なmoving-horizon strategyが導入されており、これによりモデルの精度を反復的に改善していくことが可能となる。この戦略は、限られた範囲での最適化を繰り返し適用することで、全体的な解の質を高めるアプローチである。
論文で示された広範な数値結果によれば、提案手法は既存のヒューリスティックベースラインと比較して、一貫して優れたテスト精度を達成している。また、データセットのサイズと木の深さの両面において、グローバル最適ソルバーと比較して著しく高いスケーラビリティを提供することも確認された。これは、実世界の複雑なデータセットや大規模な問題設定において、本手法がより実践的であることを示唆している。
この画期的な研究には、チェンシュアンイン・ゾウ (Chenxuanyin Zou) 氏、ジアヤン・レン (Jiayang Ren) 氏、チアンチャン・マオ (Qiangqiang Mao) 氏、ジン・リュウ (Jing Liu) 氏、マーカス・ライ (Marcus Lai) 氏、ヤンカイ・ツァオ (Yankai Cao) 氏らが著者として名を連ねている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月2日 13:00 (JST)