arXiv cs.AIは2026年10月27日(現地時間)、言語モデルにおける推論の速度と精度を最適化する新しい手法「ThinkJev (ThinkJev)」を発表した。同研究は、直接回答する高速なシステムと、思考プロセスを挟むことで高精度を実現する低速なシステムを統合し、必要に応じて使い分けることで両者の利点を活用する。これにより、算術計算や日付比較など複数ステップを要する複雑な意思決定において、コストを抑えつつ高い信頼性を達成することを目指す。
従来の言語モデルは、算術計算や日付比較といった複数ステップを要する決定において、1回のフォワードパスでは高速に応答するものの、誤りが生じやすいという課題を抱えていた。こうしたエラーを改善するため、モデルに「思考 (thought)」プロセスを導入するアプローチが試みられてきたが、その代償として推論時間が大幅に増加し、秒単位の追加コストが発生するという問題があった。この「思考」は、モデルが与えられたプロンプトに対して段階的な推論や自己修正を行うプロセスを指す。
ThinkJevは、この推論速度と精度のトレードオフという課題を解決するため、1つのopen hybrid-thinking modelから高速なSystem 1と低速なSystem 2を構築する手法を提案している。System 1はモデルがプロンプトに対して直接回答する際の選択肢の確率を読み取り、瞬時に応答する。一方、System 2はモデルがキャッシュされた同じプロンプトで思考した後の確率を読み取ることで、より精密な分析を行う。このアプローチにより、同じタスクに対する作業の重複を避けつつ、両システムの知見を統合する。
このモデルの特長は、追加の訓練なしで、System 1が目標とするエラー率を下回ると統計的に保証される場合に限り、単独で回答することを可能にする点にある。これにより、簡単なタスクではSystem 1が迅速に処理し、複雑なタスクのみSystem 2の思考プロセスを利用することで、不必要な計算コストを大幅に削減する。
シャオル・ディン (Xiaolu Ding) 氏、カイ・ヤン (Kai Yang) 氏、ドンドン・リウ (Dongdong Liu) 氏らが発表したこの研究では、Qwen3.5-27Bモデルを用いた実験結果が報告された。5%の目標エラー率を設定したところ、8359のテスト決定のうち24.5%をSystem 1が回答し、その際の実エラー率は3.9%に留まった。残りの決定では、回答の確信度が高まり次第思考を停止する早期停止 (early stopping)手法をSystem 2に適用。その結果、常に思考する場合の82.7%に対し、81.6%の精度を達成しつつ、思考トークン数を72%削減することに成功した。これは、特に大規模な言語モデルにおいて、推論コストを大幅に削減しながら実用的な精度を維持できる可能性を示唆している。
参考: arXiv cs.AI — 2026年10月31日 13:00 (JST)
原文ハイライト"One Thought, Every Budget for Calibrated Typed Decisions"