arXiv cs.CLは2026年10月21日(現地時間)、論文を発表した。同論文によると、アラビア語大規模言語モデル (LLM) の学習において、ノイズの多いウェブデータ、方言の多様性、継続事前学習 (CPT) の高コストといった課題に対処するため、「AQL-Lite」フレームワークが導入された。このフレームワークは、多言語LLMを現代標準アラビア語 (MSA) に適応させるための、時間とリソース効率の高い手法として提案されている。
論文著者であるフッサム・エディン・ブーカルファ (Houssam Eddine Boukhalfa) らは、AQL-Liteが品質重視のデータキュレーションパイプラインと部分パラメータCPTレシピを組み合わせていると説明した。キュレーションパイプラインには、構造的クリーニング、ヒューリスティックおよびモデルベースのフィルタリング、MSAデータの選択、重複排除が含まれる。CPTレシピでは、RS-LoRAアダプターをネットワーク全体にわたって、最後の8つのTransformerブロックおよび埋め込み行列とともに、層ごとの学習率で学習させる。
10億トークンの学習予算で比較した結果、AQLがキュレーションしたデータを用いたCPTは、生ウェブデータを用いたCPTと比較して、4つのベンチマークにおけるアラビア語平均スコアを3.51ポイント向上させた。生ウェブデータによるCPTは、ベースモデルからの改善がほとんど見られなかった。さらに、50億トークンでの比較では、AQL-Liteは全パラメータCPTが達成した改善の94%を、52%の実行時間で達成した。平均スコアはAQL-Liteが73.19、全パラメータCPTが73.58だった。また、アダプターのみのベースラインを全てのベンチマークで上回った。
個別のコンポーネントに対するアブレーション研究では、アダプター、凍結されていないブロック、および埋め込み層の学習がそれぞれ性能向上に貢献していることが示された。400億MSAトークンにスケールアップされ、100万件の指示データでファインチューニングされた120億パラメータモデルは、Open Arabic LLM Leaderboard v2 (OALL v2) スイートの7つのベンチマークで75.3のスコアを記録した。これらの結果は、厳選されたコーパスに対する部分パラメータCPTが、効率的なMSA適応を実現するための実用的な手段であることを示唆している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月23日 13:00 (JST)