arXiv cs.CLが2026年7月27日(現地時間)付けで報じたところによると、Zhen Huang氏らが大規模言語モデル (LLMs) の事前学習データ処理に特化した新しいフレームワーク「DataOrchestra」を発表した。DataOrchestraは、従来の固定的なデータ処理戦略とは異なり、各データ例のニーズに合わせて処理パイプラインを個別最適化する。0.5Bから7Bのモデルを対象とした検証では、11のベンチマークで既存手法に対する安定した性能向上が確認された。
大規模言語モデル (LLMs) の事前学習データ処理は、その後のモデル性能に大きく影響する。しかし、多くの既存アプローチは、コーパス全体や特定のドメインレベルで固定された処理戦略を定義し、多数のデータ例に一律に適用しており、個々のデータ例の要件への適応が課題となっていた。
DataOrchestraは、こうした課題に対応するため、複数の異なる処理操作を統合し、データ例ごとに特化したパイプラインを調整するフレームワークとして提案されている。具体的には、orchestrator（オーケストレーター）が事前学習データのチャンクを受け取り、そのチャンクをドロップするか、手を加えないか、あるいはクリーニングするかを決定する。クリーニング対象となったチャンクに対しては、プログラムによる編集 (programmatic editing) やLLMベースの書き換え (LLM-based rewriting) など、一つ以上のダウンストリーム操作が選択される。さらに、各書き換えステップでは具体的な指示が生成され、対応するダウンストリームツールモデル (downstream tool model) がその指示を実行する。
研究チームは、DataOrchestraによって処理されたウェブデータを用いて、0.5Bから7Bの範囲のモデルをゼロから事前学習する実験を行った。その結果、11のベンチマークにおいて、個別のデータ処理手法と比較して安定した平均的な性能向上を観測した。また、DataOrchestraは数学の継続事前学習 (math continued pretraining) においても効果的であり、より強力な既存処理ベースラインを上回る性能を示した。不要なダウンストリーム操作をスキップすることで、処理計算量 (processing compute) の削減にも貢献することが報告されている。
参考: arXiv cs.CL (アーカイブ) — 2026年7月28日 02:54 (JST)
原文ハイライト"DataOrchestra is also effective for math continued pretraining and outperforms stronger processing baselines"