Apple ML Researchは2026年8月(現地時間)、データ制約下での多言語間知識転移を改善する「LINK」と呼ぶデータレベル介入手法を公開する予定だと明らかにした。高性能な多言語言語モデルを構築する際、訓練データが不十分な言語では、高リソース言語からの効果的な知識転移が不可欠となる。既存の手法は、大量の並列データや翻訳システム、補助モデル、または追加の訓練段階を必要とすることが課題となっている。
アップルMLリサーチ (Apple ML Research) が2026年8月(現地時間)に公開を予定している「LINK」手法は、高リソース言語（英語）の事前訓練データの一部で、バイリンガル語彙を用いた単語レベルの置換を行うことで、モデルの事前訓練中の知識転移を改善すると見られる。この手法は、追加のモデル訓練を必要とせず、ほぼゼロコストで入手可能なバイリンガル語彙のみで適用可能である。
この研究は、Anastasiia Sedova氏、Natalie Schluter氏、Skyler Seto氏、Maartje ter Hoeve氏が著者として名を連ねている。
「LINK」手法の評価は、8つの言語と5つのモデルサイズで実施されたと報告されている。評価結果からは、ターゲット言語の下流タスクにおいて顕著な改善が見られ、同等の性能に達するまでの訓練速度が最大で2倍に向上したとされている。
Apple ML Researchはこれまでにも関連研究を発表しており、2023年6月16日(現地時間)にはCross-lingual Knowledge Transfer and Iterative Pseudo-labeling for Low-Resource Speech Recognition with Transducersを、2022年12月11日(現地時間)にはLanguages You Know Influence Those You Learn: Impact of Language Characteristics on Multi-Lingual Text-to-Text Transferを公開している。これらの研究はいずれもSpeech and Natural Language Processingの分野に属する。
参考: Apple ML Research (アーカイブ) — 2026年8月20日 09:00 (JST)
原文ハイライト"requiring no additional model training and only a bilingual vocabulary"