Together AI、ファインチューニングサービスを拡充 新モデル追加と価格改定
Together AIは9月10日(現地時間)、AIモデルのファインチューニングサービスを大幅に拡張したと発表した。今回のリリースでは、最新のオープンウェイトモデルへのサポートを拡大したほか、トレーニング過程をリアルタイムで監視できるライブ実験追跡機能、トレーニングおよびデータ処理におけるきめ細かな制御機能が導入された。また、一部モデルのトレーニング価格引き下げも実施され、利用者の費用負担軽減を図る。
Tag
#LoRA
13 件の関連記事
arXiv、多段階QAで証拠不十分時の回答抑制手法発表
arXiv cs.CLは9月1日(現地時間)、「Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA」と題する論文を発表しました。本研究は、根拠に基づいた質問応答（QA）システムにおける多段階質問応答（Multi-Hop QA）の課題に取り組み、不完全な証拠が誤った回答に繋がる問題を解決することを目指します。十分な証拠に基づいてのみ回答し、そうでない場合は回答を控えるべき境界をモデルに学習させるため、新しい訓練フレームワーク「Evidence Sufficiency Boundary Training」が導入されました。
LLaVAの物体幻覚、アテンションヘッドへの介入で低減
アーマーン・サンドゥ (Armaan Sandhu) 氏らは2026年8月26日(現地時間)、視覚言語モデル LLaVA-1.5-7B がキャプション生成時に画像にない物体を幻覚する問題に対し、その原因となるアテンションヘッドの解釈可能性に基づいた介入手法を提案する研究論文をarXiv cs.CVで公開した。この研究は、特定のヘッドへの介入が幻覚の発生率を大幅に低減することを示している。
言語モデル自己改善評価の測定誤差を検証、arXivが論文公開
チェン・シュー氏らは2026年8月20日(現地時間)、オンライン学術論文リポジトリarXivに「Phantom Gains: Auditing Self-Improvement Against a Measured Null」と題する論文を発表した。言語モデルの自己改善評価において、平均精度ではなく個々の問題の獲得・喪失で判断される傾向があるが、この評価方法が測定アーティファクトに脆弱であることを指摘。未訓練モデルに能力変化を誤って検出する問題などを明らかにした。
LARA、残差ストリームでモデル適応を効率化しLoRA同等性能を実現
LARA (ライトウェイト・アディティブ・レジデュアル・アダプテーション) は2026年7月25日(現地時間)、フリーズされたモデルの重みに変更を加えず、残差ストリーム内で動作する新たなモデル適応手法としてarXiv (アーカイブ) に発表されました。この手法は、既存のLoRA (ローラ) と同等のパラメータ数で高い性能を発揮し、隠れ状態の読み取りと低ランク補正を残差ストリームへ追加することで、基本モデルの重みを不変に保ちます。単一モデル上で複数の学習済み動作を効率的に管理する可能性を示唆しています。
DS@GT ARC、LLM活用で多言語数値クレーム検証研究を発表
DS@GT ARCは7月27日(現地時間)、大規模言語モデル (LLM) を活用した多言語数値クレーム検証に関する研究論文を発表しました。本研究は、CLEF 2026 CheckThat! Task 2の一環として実施され、LLMが生成した推論トレースのランキングと、英語およびアラビア語における数値クレームの最終判定予測に焦点を当てています。不確かな情報が氾濫する中で、数値クレームの自動検証は信頼できる情報環境の構築に不可欠な技術基盤となり得ると指摘されています。
arXiv、LLM「スーパーウェイト」の単独訓練は無効と発表
arXiv cs.LGは7月9日(現地時間)、大規模言語モデル (LLM) における「Super Weights (スーパーウェイト)」と呼ばれる重要なパラメータの選択的訓練が、モデルの性能向上に繋がらないとする研究結果を発表しました。この研究は、特定のパラメータがモデル性能に大きく影響するものの、その重要性が単独での訓練可能性を意味しないことを示唆しています。
Together AI、GPUクラスターの自動ノード修復を提供
Together AIは2026年6月24日(現地時間)、GPUクラスター向けにパッシブヘルスチェックと自動ノード修復機能の提供を開始した。この新機能により、ノードレベルの問題が検出された際にシステムが修復推奨を生成し、ユーザーが承認することで、ノードの隔離、ドレイン、修復、再結合プロセスを自動で処理する。また、同日にはファインチューニングジョブの推定コストをAPI経由で取得できる新エンドポイント「POST /fine-tunes/estimate-price」も追加された。
Hugging Face、LoRA超えるPEFT技術の探求とベンチマーク結果を公開
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
拡散言語モデルのトークン編集精度向上、自己生成エラー学習で実現
arXiv cs.CLは6月15日(現地時間)、リン・ヤオ (Lin Yao) 氏による研究論文「Self-Generated Error Training for Token Editing in Diffusion Language Models」を公開した。本論文は、拡散言語モデル (Diffusion Language Models) におけるトークン編集の精度を高める新たな手法を提案している。特に、LLaDA2.1を用いたブロック拡散デコーディングプロセス中に確定されたトークンを修正するトークン間 (T2T) 編集が抱える課題に対応する。
コード言語モデルにリポジトリ知識注入、新フレームワーク「Code2LoRA」登場
Liliana Hotsko氏らは2026年6月4日(現地時間)、コード言語モデル（CLM）がリポジトリレベルの文脈を必要とする課題を解決するため、ハイパーネットワークフレームワーク「Code2LoRA」を導入したと発表した。このシステムは、リポジトリ固有のLow-Rank Adaptation（LoRA）アダプターを生成することで、推論時のトークンオーバーヘッドなしにリポジトリ知識を効果的に注入する。従来の取得拡張生成（RAG）やリポジトリごとのファインチューニングが抱える、コストや進化するコードベースへの適応性の課題を解決することが期待される。
FuRAがLoRAを凌駕、フルランク適応フレームワークで事前学習モデル微調整効率化
arXiv cs.LGは2026年5月19日(現地時間)、Yequan Zhao氏らの研究チームが新たなフレームワーク「FuRA (Full-Rank Adaptation)」を提案したと発表した。この論文によると、FuRAは事前学習済みモデルの微調整効率を高めるもので、既存のFull fine-tuning (Full FT) やLoRAが考慮しなかった事前学習中のスペクトル構造を利用する。これにより、FuRAはパラメーター、メモリ、ステップ時間の効率をLoRAと同等に保ちながら、複数の設定でFull FTを上回る性能を実現した。
医療AI「MedQA」がAMD ROCmで稼働、CUDAなしでファインチューニング
MedQAプロジェクトは5月7日(現地時間)、AMD ROCm環境を活用し、臨床質問応答モデルのファインチューニングに成功した。これはNVIDIA CUDAに依存せず、AMD Instinct MI300X上でHugging Faceのエコシステムが機能することを実証するものである。Qwen3-1.7Bモデルを基盤に、医療分野の多肢選択式質問への回答と、その背後にある臨床的説明の生成を目指しており、新たな医療AI開発の可能性を示している。