Tag
5 件の関連記事
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
arXiv cs.CLは6月15日(現地時間)、リン・ヤオ (Lin Yao) 氏による研究論文「Self-Generated Error Training for Token Editing in Diffusion Language Models」を公開した。本論文は、拡散言語モデル (Diffusion Language Models) におけるトークン編集の精度を高める新たな手法を提案している。特に、LLaDA2.1を用いたブロック拡散デコーディングプロセス中に確定されたトークンを修正するトークン間 (T2T) 編集が抱える課題に対応する。
Liliana Hotsko氏らは2026年6月4日(現地時間)、コード言語モデル（CLM）がリポジトリレベルの文脈を必要とする課題を解決するため、ハイパーネットワークフレームワーク「Code2LoRA」を導入したと発表した。このシステムは、リポジトリ固有のLow-Rank Adaptation（LoRA）アダプターを生成することで、推論時のトークンオーバーヘッドなしにリポジトリ知識を効果的に注入する。従来の取得拡張生成（RAG）やリポジトリごとのファインチューニングが抱える、コストや進化するコードベースへの適応性の課題を解決することが期待される。
arXiv cs.LGは2026年5月19日(現地時間)、Yequan Zhao氏らの研究チームが新たなフレームワーク「FuRA (Full-Rank Adaptation)」を提案したと発表した。この論文によると、FuRAは事前学習済みモデルの微調整効率を高めるもので、既存のFull fine-tuning (Full FT) やLoRAが考慮しなかった事前学習中のスペクトル構造を利用する。これにより、FuRAはパラメーター、メモリ、ステップ時間の効率をLoRAと同等に保ちながら、複数の設定でFull FTを上回る性能を実現した。
MedQAプロジェクトは5月7日(現地時間)、AMD ROCm環境を活用し、臨床質問応答モデルのファインチューニングに成功した。これはNVIDIA CUDAに依存せず、AMD Instinct MI300X上でHugging Faceのエコシステムが機能することを実証するものである。Qwen3-1.7Bモデルを基盤に、医療分野の多肢選択式質問への回答と、その背後にある臨床的説明の生成を目指しており、新たな医療AI開発の可能性を示している。