AllenAIは2026年8月6日(現地時間)、AIチューターが学生を支援すべきか、あるいは学生自身に考えさせるべきかという教育における判断のバランスを測定するフレームワーク「TutorMoments」のプレビュー版を公開した。TutorMomentsは、実際の1対1の数学チュータリングセッションの記録に基づいたリプレイ評価システムで、経験豊富な数学教師が学生の理解を深めるための重要な瞬間にチューターが下すべき決定を特定する。これにより、LLMがチューターとして適切な支援を行うかを評価する。
TutorMomentsは、教育における最も難しいトレードオフの一つである、いつ学生を支援し、いつ控えめに学生に考えさせるかのバランスを測定するために設計されたとAllenAIは説明している。
このフレームワークは、実際の1対1の数学チュータリングセッションの記録を利用し、教師が問題を容易にするか、学生に深く考えさせるかの選択を迫られた瞬間を特定する。その決定点までの記録を大規模言語モデル（LLM）に渡し、別のLLMが演じる学生とのシミュレーションセッションでLLMがチューター役を務める。評価の結果、LLMは「良くチューターする」よう指示されても、過剰に支援し、学生に深い思考を促すことが少ない傾向が示された。チューターへの指示にトレードオフ（いつ助け、いつ控えるか）を明記することで性能は向上するが、人間のチューターとのギャップは残るという。
AllenAIはオープンな研究へのコミットメントとして、匿名化されたチュータリング記録のデータセット、リプレイパイプライン実行コード、主要な瞬間のモデルチューターリプレイを公開している。
TutorMomentsは、米国で2年生から7年生の学生を対象とした実際の1対1の数学チュータリングセッションの匿名化されたテキスト記録462件に基づいている。データセットTutorMoments-Previewには、27人の米国を拠点とする教師アノテーターによる1,500以上の主要な瞬間と数千の自由記述アノテーションが含まれる。各主要な瞬間は、チューターが足場かけ（問題をよりアクセスしやすくする）と厳密さの追求（学生により難しい思考を促す）の間で判断を迫られる決定点としてマークされている。
LLMがチューターとして5ターン担当する「リプレイ」が生成され、その後LLMベースのスコアリングパイプラインが3つの観点（学生がサポートを必要としたときに足場かけをしたか、挑戦する準備ができたときに厳密さを追求したか、過剰な足場かけを避けたか）で各リプレイを評価する。予備結果では、プロンプトがモデルの性能に大きく影響し、評価を意識したプロンプトで全てのモデルがより高いスコアを示したことが報告された。
参考: Hugging Face Blog (アーカイブ) — 2026年8月6日 17:29 (JST)
原文ハイライト"when to step in and help a student and when to hold back"