Tag
9 件の関連記事
LARA (ライトウェイト・アディティブ・レジデュアル・アダプテーション) は2026年7月25日(現地時間)、フリーズされたモデルの重みに変更を加えず、残差ストリーム内で動作する新たなモデル適応手法としてarXiv (アーカイブ) に発表されました。この手法は、既存のLoRA (ローラ) と同等のパラメータ数で高い性能を発揮し、隠れ状態の読み取りと低ランク補正を残差ストリームへ追加することで、基本モデルの重みを不変に保ちます。単一モデル上で複数の学習済み動作を効率的に管理する可能性を示唆しています。
DS@GT ARCは7月27日(現地時間)、大規模言語モデル (LLM) を活用した多言語数値クレーム検証に関する研究論文を発表しました。本研究は、CLEF 2026 CheckThat! Task 2の一環として実施され、LLMが生成した推論トレースのランキングと、英語およびアラビア語における数値クレームの最終判定予測に焦点を当てています。不確かな情報が氾濫する中で、数値クレームの自動検証は信頼できる情報環境の構築に不可欠な技術基盤となり得ると指摘されています。
arXiv cs.LGは7月9日(現地時間)、大規模言語モデル (LLM) における「Super Weights (スーパーウェイト)」と呼ばれる重要なパラメータの選択的訓練が、モデルの性能向上に繋がらないとする研究結果を発表しました。この研究は、特定のパラメータがモデル性能に大きく影響するものの、その重要性が単独での訓練可能性を意味しないことを示唆しています。
Together AIは2026年6月24日(現地時間)、GPUクラスター向けにパッシブヘルスチェックと自動ノード修復機能の提供を開始した。この新機能により、ノードレベルの問題が検出された際にシステムが修復推奨を生成し、ユーザーが承認することで、ノードの隔離、ドレイン、修復、再結合プロセスを自動で処理する。また、同日にはファインチューニングジョブの推定コストをAPI経由で取得できる新エンドポイント「POST /fine-tunes/estimate-price」も追加された。
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
arXiv cs.CLは6月15日(現地時間)、リン・ヤオ (Lin Yao) 氏による研究論文「Self-Generated Error Training for Token Editing in Diffusion Language Models」を公開した。本論文は、拡散言語モデル (Diffusion Language Models) におけるトークン編集の精度を高める新たな手法を提案している。特に、LLaDA2.1を用いたブロック拡散デコーディングプロセス中に確定されたトークンを修正するトークン間 (T2T) 編集が抱える課題に対応する。
Liliana Hotsko氏らは2026年6月4日(現地時間)、コード言語モデル（CLM）がリポジトリレベルの文脈を必要とする課題を解決するため、ハイパーネットワークフレームワーク「Code2LoRA」を導入したと発表した。このシステムは、リポジトリ固有のLow-Rank Adaptation（LoRA）アダプターを生成することで、推論時のトークンオーバーヘッドなしにリポジトリ知識を効果的に注入する。従来の取得拡張生成（RAG）やリポジトリごとのファインチューニングが抱える、コストや進化するコードベースへの適応性の課題を解決することが期待される。
arXiv cs.LGは2026年5月19日(現地時間)、Yequan Zhao氏らの研究チームが新たなフレームワーク「FuRA (Full-Rank Adaptation)」を提案したと発表した。この論文によると、FuRAは事前学習済みモデルの微調整効率を高めるもので、既存のFull fine-tuning (Full FT) やLoRAが考慮しなかった事前学習中のスペクトル構造を利用する。これにより、FuRAはパラメーター、メモリ、ステップ時間の効率をLoRAと同等に保ちながら、複数の設定でFull FTを上回る性能を実現した。
MedQAプロジェクトは5月7日(現地時間)、AMD ROCm環境を活用し、臨床質問応答モデルのファインチューニングに成功した。これはNVIDIA CUDAに依存せず、AMD Instinct MI300X上でHugging Faceのエコシステムが機能することを実証するものである。Qwen3-1.7Bモデルを基盤に、医療分野の多肢選択式質問への回答と、その背後にある臨床的説明の生成を目指しており、新たな医療AI開発の可能性を示している。