竹下耕稀 (Koki Takeshita) 氏らの研究グループは2026年10月20日(現地時間)、大規模言語モデル (LLM) を用いた多目的強化学習により、RTL (Register Transfer Level) 回路生成におけるパレート最適解の多様性を向上させる学習手法を発表した。既存手法は回路のPPA (Power, Performance, Area) を単一スカラー報酬で最適化するため、電力、性能、面積といった異なるトレードオフを持つ多様な回路生成が困難だった。今回提案された手法は、単一回路ではなく、複数世代にわたる回路セット全体の品質と多様性を最適化する。
この研究は、LLMベースの回路生成において、PPAの目的空間で得られる回路セット全体の品質と多様性を最適化する学習手法を提案する。これは、回路設計において製品要件や設計制約に応じて各目的の相対的な重要度が変動するため、多様で高品質な候補セットを得ることが、設計者が事後に好ましいトレードオフを選択する上で有益であるという課題に対応する。
提案された手法は主に二つの要素で構成される。一つは、パレート解セット全体の網羅性向上を逐次的な回路生成問題に再定式化する、生成ベースの訓練パイプラインである。もう一つは、生成された回路がパレートフロントにどれだけ貢献するかを測定する、Hypervolume Contribution (HVC) に基づく報酬関数である。
RTLLM v2ベンチマークを用いた評価では、提案手法がPPA最適化を行わないベースラインと比較して相対Hypervolumeで+13.3パーセンテージポイント、単一目的強化学習手法と比較して+14.4パーセンテージポイントの向上を達成した。また、回路の多様性においても優位性を示している。
この研究は、竹下耕稀氏の他、上林憲司 (Kenji Uebayashi) 氏、友成光 (Hikaru Tomonari) 氏、角掛将也 (Masaya Tsunokake) 氏、矢和多浩一郎 (Koichiro Yawata) 氏、佐々木達也 (Tatsuya Sasaki) 氏、大坪雄介 (Yusuke Ohtsubo) 氏、土肥航大 (Kota Dohi) 氏、曽川泰裕 (Yasuhiro Sogawa) 氏が執筆しており、COLM 2026に採択されている。
参考: arXiv cs.AI (アーカイブ) — 2026年10月21日 13:00 (JST)
原文ハイライト"Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models"