Reframeは11月10日(現地時間)、視覚的推論を行うエージェント向けに、観測状態を整合させるマルチティーチャーオンポリシー蒸留手法を発表した。huggingface.coが同日報じたこの新手法は、Qwen3.5-9Bを基盤とし、有用な視覚的証拠の獲得と活用を目的としている。

この新しい蒸留手法は、特にツール使用型視覚的推論エージェントの訓練において、観測状態を効果的に整合させることを目指している。既存の蒸留手法がしばしば出力分布のみに焦点を当てる中、Reframeはエージェントの観測状態の質を向上させることで、推論能力の強化を図る。

Reframeは、主に二つの革新的な要素で構成されている。一つはGD-GRPO(Guided Distillation with Global Reward and Observation Perturbation)、もう一つはOG-MOPD(Observation-Guided Multi-Teacher On-Policy Distillation)である。

GD-GRPOは、モデルがツールから返された情報に基づいて推論する能力を高めることを目的としている。具体的には、ツールアクションに基づいた報酬の設計と、元の視覚入力の確率的削除を通じて、モデルが観測状態の必然性をより強く認識するように促す。これにより、エージェントは環境からの重要な視覚情報を無視することなく、ツール利用によって得られる推論の精度を向上させることが可能になる。

一方、OG-MOPDは、マルチティーチャー蒸留が有用な観測から継続できるように、観測状態の有効性を維持する役割を担う。ロールアウトの途中で不十分なツールアクションや不適切な観測状態が検出された場合、OG-MOPDはそれを修正し、訓練プロセスが有益な視覚的証拠に依存し続けることを保証する。これは、エージェントが誤った観測に基づいて不正確な推論を行うリスクを低減し、より堅牢な学習を可能にする。

Poly Arti氏は本手法についてThe idea of aligning the observation state, not just the output distributionと述べている。この発言は、単に出力結果を模倣するだけでなく、エージェントが「何を見ているか」という観測の本質に焦点を当てるReframeの核心を示唆するものと見られる。

この蒸留手法は、Qwen3.5-9Bのような大規模言語モデルを視覚的推論タスクに適用する際の性能向上に寄与することが期待されている。ツールを用いて環境とインタラクションするエージェントにとって、適切な観測状態の維持と活用は、その行動の精度と効率を大きく左右するとされている。


参考: huggingface.co (アーカイブ) — 2026年11月10日 09:31 (JST)

原文ハイライト

"The idea of aligning the observation state, not just the output distribution"

この記事をシェア
X はてブ LinkedIn