イークスアン・シュー (Yixuan Xu) らは10月23日(現地時間)、並列生成レコメンデーションの性能向上を目指し、アイテム空間とコード空間を横断する新たな知識蒸留手法に関する研究論文をarXiv cs.IRで発表した。既存のセマンティックIDレコメンダーが抱える代替アイテムの分布情報不足に対処するため、Item Distribution Matching (IDM)とCode Marginal Matching (CMM)という二つの相補的な手法を提案している。
生成レコメンデーションの分野では、各アイテムをそのセマンティック表現から派生した離散コードのシーケンスとして表現し、これらのコード予測を通じてレコメンデーションが生成されます。しかし、従来のセマンティックIDレコメンダーでは、観測された次のアイテムに対するハードラベルで訓練されることが一般的で、同じユーザー履歴に条件付けられた代替アイテムに関する明示的な分布情報が不足するという課題がありました。
シーケンシャルレコメンダーはアイテムレベルの予測知識を供給可能であるものの、教師モデルと生徒モデルがそれぞれアイテム空間とコード空間で動作するため、その知識をセマンティックID生成に転送することは困難とされていました。
イークスアン・シュー (Yixuan Xu) らはこの課題を解決するため、全てのコード位置を自己回帰的なプレフィックス条件付けなしに同時に予測する並列セマンティックIDレコメンダー向けに、二つの知識蒸留目的を提案しています。
提案された手法の一つ、Item Distribution Matching (IDM)は、生徒モデルの並列コード予測からカタログレベルのアイテム分布を再構築し、これを教師モデルのアイテム分布と整合させます。もう一つのCode Marginal Matching (CMM)は、教師モデルのアイテム確率を固定されたアイテムからコードへの割り当てを用いて各コード位置に投影し、その結果のコード周辺分布を生徒モデルの対応するヘッドに整合させます。これらの手法は、生徒モデルの並列予測構造を維持しつつ、教師モデルのソフトな分布知識を転送することを目的としています。
ベンチマークデータセットを用いた実験では、両手法が既存の最先端アプローチを一貫して上回る性能を示しました。具体的には、IDMは平均でRecall@10を15.39%改善し、CMMはNDCG@10を8.28%改善しています。これらの結果は、再構築されたアイテム空間またはコード周辺空間での蒸留が、並列生成レコメンデーションにおけるハードラベル監視を大幅に強化できることを示唆しています。
参考: arXiv cs.IR — 2026年10月24日 02:37 (JST)