スーリヤ・サカ氏 (Surya Saka)は8月23日(現地時間)、論文公開サイトarXiv cs.LGにて、法務ドメイン検索に特化した埋め込みモデル「グリーンリーフ・ロー・エンベッド・タイニー (GreenLeaf Law Embed Tiny)」に関する研究論文を公開した。パラメータ数0.6Bの同モデルは、マッシブ・リーガル・エンベッド・ベンチマーク (Massive Legal Embedding Benchmark)で75.11%、MTEB(Law, v1)で64.38%の性能を達成し、10億パラメータ未満のモデル群の中で高い競争力を示している。
グリーンリーフ・ロー・エンベッド・タイニー (GreenLeaf Law Embed Tiny)は、二段階の訓練パイプラインを採用している。
第一段階では、大規模な教師モデルから、よりコンパクトな生徒アーキテクチャへの知識蒸留が実施される。これにより、モデルは効率的に法務分野の専門知識を獲得する。
第二段階では、ハードネガティブマイニングを組み込んだドメイン特化型のファインチューニングが適用される。このプロセスにより、モデルは法務ドメインにおける複雑な検索クエリに対し、より精度の高い埋め込みを生成できるよう最適化される。
訓練には、340万組に及ぶクエリとパッセージのペアからなる広範なデータセットが用いられた。このデータセットには、多様な法域を網羅するために人間がキュレーションした15万組のサンプルも含まれている。これにより、モデルは様々な法的文脈に対応できる汎用性を獲得する。
モデルの推論アーキテクチャは、BF16、INT8、binaryといった複数の量子化レベルに対応している。この柔軟性により、計算リソースが制約される環境においても、グリーンリーフ・ロー・エンベッド・タイニーを効率的に展開・運用することが可能となる。
論文では、採用された訓練手法、アーキテクチャの選択理由、および法務検索タスクにおけるモデルの包括的な評価結果が詳細に分析されている。研究結果は、高品質なデータを用いたドメイン特化型訓練が、特定分野のアプリケーション性能を飛躍的に向上させる可能性を示唆している。
参考: arXiv cs.LG (アーカイブ) — 2026年8月27日 13:00 (JST)