トゥゲザー・エーアイ (Together AI) は2026年10月26日(現地時間)、GPUクラスター向けの自動修復機能を提供すると発表した。これにより、GPUやホスト、ファブリックの障害を検出し、プラットフォームが最も適切な修正方法を選択し、自動実行する。ユーザーは障害の種類やXidコードごとに、修復を自動実行するか、承認を必要とするか設定できる。
この自動修復機能は、今年初めに発表されたAutomatic node remediation featuresの一部を構成する。同社は継続的な監視を行う「Passive health」チェックシステムを導入しており、仮想マシン (VM) の内部および基盤となるホストの両方でノードの状態を監視する。
検出される障害には、Xidエラー、PCIeバスからのGPU脱落、ECCダブルビットエラー、InfiniBandリンクのフラッピングなどが含まれる。システムは障害を検出すると、その修復に最も軽量なアクションを推奨し、その根拠となるエビデンスを提示する。ユーザーは、実行中のワークロードが終了するまで自動修復が待機する時間も設定できる。
修復パイプラインは「検出」「判断」「修復」「再検証」の4段階で構成される。検出はハイパーバイザーの両側から行われ、VM内ではカーネルログやDCGM、ノード・プロブレム・ディテクター (Node Problem Detector) が監視し、ホスト側ではInfiniBandレールの状態などが監視される。
この機能は、パッシブヘルスチェック、修復推奨、自動修復ポリシー、待機制御、APIおよびコンソールからの修復を含め、本日より一般提供を開始している。NVSentinelやカスタムコントローラーといった外部の検出システムを連携させるためのノードラベルベースの修復契約はプレビュー版として提供されている。
参考: Together AI Blog (アーカイブ) — 2026年10月27日 09:00 (JST)
原文ハイライト"At cluster scale, GPU faults are a reality. An Xid error, a double-bit ECC error,"