SyncVid、正規3D空間で動画生成の同期性を向上
SyncVidは10月22日(現地時間)、単一の参照動画から動的なシーンの複数動画を生成する際、ビュー間の一貫性を維持する新手法を提案する論文を公開しました。同手法は、拡散プロセス自体を同期させるため、正規3D空間でガウスノイズ事前情報をサンプリングし、これをターゲットカメラにラスタライズします。これにより、SyncVidは知覚品質とクロスビュー一貫性の向上を実現したと報告されています。
Tag
#LoRA
22 件の関連記事
MoPE-LoRA、音韻カテゴリでアクセント英語音声認識を効率化
arXiv cs.CLは10月13日(現地時間)、サンタ・ダハル (Santosh Dahal) 氏らがアクセント付き英語音声認識の新たな適応フレームワーク「ミクスチャー・オブ・フォネティック・エキスパート・ベースド・ローランク・アダプテーション (Mixture of Phonetic Experts based Low-Rank Adaptation、MoPE-LoRA)」を発表した。この手法は、従来のアクセント単位ではなく音韻カテゴリに沿って適応を構成し、パラメーター効率の良い適応を可能にする。L2-ARCTICデータセットを用いた実験では、既存手法と比較して一貫した改善を示し、特にゼロショット評価では単一LoRAに対し12.3%の相対的改善を達成した。
ルイ・シ氏ら、WeActを開発：LoRAアダプター動的切り替えでAIエージェントの機能学習を効率化
ルイ・シ氏らが10月19日(現地時間)、エージェントの行動として動的な重み切り替えを行う新たな手法「WeAct（Weight-level Internal Actions）」を開発したと発表した。この手法は、固定されたバックボーン上で機能特化型のLoRAアダプターを独立して訓練し、アダプターの選択をエージェントのアクションスペースに統合する。これにより、従来の共有パラメータ更新で生じることがあった既存機能の劣化（catastrophic forgetting）といった課題への対処が図られ、長期的なエージェントの多様な機能学習を可能にするとされる。
docs.bfl.ml、オープンウェイト版画像生成モデル「FLUX 3 Image Klein」発表
docs.bfl.mlは10月15日(現地時間)、新たな画像生成モデル「FLUX 3 Image Klein」を発表した。これは既存モデル「FLUX 3 Image」の5.6Bパラメーター版で、オープンウェイトとして提供される。テキストからの画像生成、画像編集、複数参照、バウンディングボックスなど、先行モデルと同等の機能をサポートしている。
拡散モデルのパーソナライズ効率化、新LoRA手法「Diffu-LoRA」
arXiv cs.CL は2026年9月24日(現地時間)、Tianjing Li (ティエンジーン・リー) 氏らが開発した、テキスト・画像拡散モデル向けの新低ランク適応 (LoRA) 手法「Diffu-LoRA」に関する研究論文を公開した。この手法は、少数の参照画像から拡散モデルをパーソナライズする際に、被写体の同一性を維持しつつ新しい文脈を記述するプロンプトに従う能力を向上させながら、パラメータ効率を高めることを目的としている。従来のLoRAの課題であった適応容量の層間配分を、ゲート付き低ランク適応を通じて学習することを特徴とする。
大規模言語モデル、人間可読テキストなしで高効率ファインチューニング—新手法DASAが有効性示す
Jinhao Zhang氏らは2026年9月25日(現地時間)、大規模言語モデル (LLM) の効果的なファインチューニングにおいて、人間が読解可能なテキスト形式が必須ではない可能性を示唆する論文をarXivで発表した。同研究では、モデルに最適化された訓練表現が、人間可読性を必要とせずとも適応性能を維持または向上させるかどうかに焦点を当てた。活性化勾配フィードバックを活用する合成データ生成手法「Desired-Update-Aligned Synthetic Data (DASA)」を提案し、その有効性を実証している。
Google Research、画像生成AIの統合制御「Diffusion Controller」発表
Google Researchは9月29日(現地時間)、画像生成AIにおけるプロンプトアライメントを改善し、統一的かつ簡素化された制御を可能にする軽量なネットワーク「ディフュージョン・コントローラー (Diffusion Controller)」を発表した。このネットワークは、既存のテキスト-画像AIモデルに容易に組み込め、基盤モデルの安定性を損なうことなく画像品質を高める。生成プロセスを連続的な制御問題として再構築し、より精密なユーザー意図への対応を目指す。
LLMのLoRA統合課題、新手法READで克服
Zeyan Liらは9月25日(現地時間)、大規模言語モデル（LLM）の微調整に用いられる低ランクアダプター（LoRA）の結合における課題を解決する新手法「READ (Read-only Expansion of Adapter Deltas)」を発表した。同手法は、複数のLoRAアダプターを単一のモデルに統合する際の問題に対処し、アダプターの更新をバランスの取れた正規形に書き換える。新しいスキルが既存のスキルの入力部分を参照し、その出力には干渉しない一方向の結合を確立することで、性能低下を防ぎつつ効率的な統合を実現する。
Qwen3で抑うつ度予測、クロススケール転移学習プロトコル提案
arXiv cs.CLは2026年9月23日(現地時間)、臨床面接記録からの連続的な抑うつ度スコア予測において、データ不足の課題に対処する研究論文を発表した。同論文は、逐次的な低ランク適応 (LoRA) プロトコルを提案し、Qwen3バックボーンと言語や臨床パラダイムをまたぐクロススケール転移学習を適用している。この手法は、英語のDAIC-WOZデータセットで事前学習した後、中国語のPDCHデータセットでさらに微調整を行う。データが不足しているHAMD-17ターゲットにおいて、この逐次プロトコルはMAE、RMSE、およびmacro-$F_1$の点で最良の性能を達成したと報告されている。
Together AI、ファインチューニングサービスを拡充 新モデル追加と価格改定
Together AIは9月10日(現地時間)、AIモデルのファインチューニングサービスを大幅に拡張したと発表した。今回のリリースでは、最新のオープンウェイトモデルへのサポートを拡大したほか、トレーニング過程をリアルタイムで監視できるライブ実験追跡機能、トレーニングおよびデータ処理におけるきめ細かな制御機能が導入された。また、一部モデルのトレーニング価格引き下げも実施され、利用者の費用負担軽減を図る。
arXiv、多段階QAで証拠不十分時の回答抑制手法発表
arXiv cs.CLは9月1日(現地時間)、「Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA」と題する論文を発表しました。本研究は、根拠に基づいた質問応答（QA）システムにおける多段階質問応答（Multi-Hop QA）の課題に取り組み、不完全な証拠が誤った回答に繋がる問題を解決することを目指します。十分な証拠に基づいてのみ回答し、そうでない場合は回答を控えるべき境界をモデルに学習させるため、新しい訓練フレームワーク「Evidence Sufficiency Boundary Training」が導入されました。
LLaVAの物体幻覚、アテンションヘッドへの介入で低減
アーマーン・サンドゥ (Armaan Sandhu) 氏らは2026年8月26日(現地時間)、視覚言語モデル LLaVA-1.5-7B がキャプション生成時に画像にない物体を幻覚する問題に対し、その原因となるアテンションヘッドの解釈可能性に基づいた介入手法を提案する研究論文をarXiv cs.CVで公開した。この研究は、特定のヘッドへの介入が幻覚の発生率を大幅に低減することを示している。
言語モデル自己改善評価の測定誤差を検証、arXivが論文公開
チェン・シュー氏らは2026年8月20日(現地時間)、オンライン学術論文リポジトリarXivに「Phantom Gains: Auditing Self-Improvement Against a Measured Null」と題する論文を発表した。言語モデルの自己改善評価において、平均精度ではなく個々の問題の獲得・喪失で判断される傾向があるが、この評価方法が測定アーティファクトに脆弱であることを指摘。未訓練モデルに能力変化を誤って検出する問題などを明らかにした。
LARA、残差ストリームでモデル適応を効率化しLoRA同等性能を実現
LARA (ライトウェイト・アディティブ・レジデュアル・アダプテーション) は2026年7月25日(現地時間)、フリーズされたモデルの重みに変更を加えず、残差ストリーム内で動作する新たなモデル適応手法としてarXiv (アーカイブ) に発表されました。この手法は、既存のLoRA (ローラ) と同等のパラメータ数で高い性能を発揮し、隠れ状態の読み取りと低ランク補正を残差ストリームへ追加することで、基本モデルの重みを不変に保ちます。単一モデル上で複数の学習済み動作を効率的に管理する可能性を示唆しています。
DS@GT ARC、LLM活用で多言語数値クレーム検証研究を発表
DS@GT ARCは7月27日(現地時間)、大規模言語モデル (LLM) を活用した多言語数値クレーム検証に関する研究論文を発表しました。本研究は、CLEF 2026 CheckThat! Task 2の一環として実施され、LLMが生成した推論トレースのランキングと、英語およびアラビア語における数値クレームの最終判定予測に焦点を当てています。不確かな情報が氾濫する中で、数値クレームの自動検証は信頼できる情報環境の構築に不可欠な技術基盤となり得ると指摘されています。
arXiv、LLM「スーパーウェイト」の単独訓練は無効と発表
arXiv cs.LGは7月9日(現地時間)、大規模言語モデル (LLM) における「Super Weights (スーパーウェイト)」と呼ばれる重要なパラメータの選択的訓練が、モデルの性能向上に繋がらないとする研究結果を発表しました。この研究は、特定のパラメータがモデル性能に大きく影響するものの、その重要性が単独での訓練可能性を意味しないことを示唆しています。
Together AI、GPUクラスターの自動ノード修復を提供
Together AIは2026年6月24日(現地時間)、GPUクラスター向けにパッシブヘルスチェックと自動ノード修復機能の提供を開始した。この新機能により、ノードレベルの問題が検出された際にシステムが修復推奨を生成し、ユーザーが承認することで、ノードの隔離、ドレイン、修復、再結合プロセスを自動で処理する。また、同日にはファインチューニングジョブの推定コストをAPI経由で取得できる新エンドポイント「POST /fine-tunes/estimate-price」も追加された。
Hugging Face、LoRA超えるPEFT技術の探求とベンチマーク結果を公開
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
拡散言語モデルのトークン編集精度向上、自己生成エラー学習で実現
arXiv cs.CLは6月15日(現地時間)、リン・ヤオ (Lin Yao) 氏による研究論文「Self-Generated Error Training for Token Editing in Diffusion Language Models」を公開した。本論文は、拡散言語モデル (Diffusion Language Models) におけるトークン編集の精度を高める新たな手法を提案している。特に、LLaDA2.1を用いたブロック拡散デコーディングプロセス中に確定されたトークンを修正するトークン間 (T2T) 編集が抱える課題に対応する。
コード言語モデルにリポジトリ知識注入、新フレームワーク「Code2LoRA」登場
Liliana Hotsko氏らは2026年6月4日(現地時間)、コード言語モデル（CLM）がリポジトリレベルの文脈を必要とする課題を解決するため、ハイパーネットワークフレームワーク「Code2LoRA」を導入したと発表した。このシステムは、リポジトリ固有のLow-Rank Adaptation（LoRA）アダプターを生成することで、推論時のトークンオーバーヘッドなしにリポジトリ知識を効果的に注入する。従来の取得拡張生成（RAG）やリポジトリごとのファインチューニングが抱える、コストや進化するコードベースへの適応性の課題を解決することが期待される。
FuRAがLoRAを凌駕、フルランク適応フレームワークで事前学習モデル微調整効率化
arXiv cs.LGは2026年5月19日(現地時間)、Yequan Zhao氏らの研究チームが新たなフレームワーク「FuRA (Full-Rank Adaptation)」を提案したと発表した。この論文によると、FuRAは事前学習済みモデルの微調整効率を高めるもので、既存のFull fine-tuning (Full FT) やLoRAが考慮しなかった事前学習中のスペクトル構造を利用する。これにより、FuRAはパラメーター、メモリ、ステップ時間の効率をLoRAと同等に保ちながら、複数の設定でFull FTを上回る性能を実現した。
医療AI「MedQA」がAMD ROCmで稼働、CUDAなしでファインチューニング
MedQAプロジェクトは5月7日(現地時間)、AMD ROCm環境を活用し、臨床質問応答モデルのファインチューニングに成功した。これはNVIDIA CUDAに依存せず、AMD Instinct MI300X上でHugging Faceのエコシステムが機能することを実証するものである。Qwen3-1.7Bモデルを基盤に、医療分野の多肢選択式質問への回答と、その背後にある臨床的説明の生成を目指しており、新たな医療AI開発の可能性を示している。