Tag
12 件の関連記事
Amazon は2026年10月21日(現地時間)、Hugging Face Blogを通じて、AWS Trainium (AWS トレイニアム) 上で動作するTorchNeuron (トーチニューロン) のシステムレベルプロファイリング手法に関する記事「Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium」を公開した。深層学習のトレーニングおよび推論ワークロード向けAIチップであるAWS Trainiumを活用し、モデルの推論性能を分析し、時間消費のボトルネックを特定する方法を解説している。
Vincent Jung氏らの研究チームは2026年10月20日(現地時間)、オンラインプレプリントリポジトリ「arXiv cs.LG」で研究成果を公開し、グラフ生成モデルにおけるグラフ固有のトランスフォーマー (Transformer) アーキテクチャが抱える課題に対処するため、新たなエッジアウェアアテンション層を提案したと発表した。この新提案により、ピーク時のGPUメモリ使用量を約65%削減し、トレーニングおよびサンプリングのスループットを大幅に向上させることに成功したという。
Hugging Faceは2026年10月19日(現地時間)、TorchTPUを通じてPyTorchのTensor Processing Unit (TPU) ネイティブサポートを発表した。これにより、同社のエコシステムであるTransformers、Diffusers、KernelsがGoogleのAIアクセラレーターであるTPU上で直接実行可能となる。
Hugging Face Blogは2026年10月20日(現地時間)、PyTorch (パイソン) 2.15におけるMPS (Metal Performance Shaders) バックエンドの大幅な機能強化について報じた。Mac上でのモデル実行と学習を高速化するため、FP8 (Float8) 形式のサポート、言語モデルのデコーディング経路最適化、新たなMetal (メタル) カーネルの導入が行われた。これにより、これまで課題となっていたパフォーマンスのボトルネックやメモリ使用量の問題が改善されたとされている。
Hugging Faceは2026年10月18日(現地時間)、PyTorch向けに新しいネイティブバックエンド「TorchNeuron」を発表した。これは、AWSの機械学習アクセラレーターであるトレーニアム (Trainium) 上でのモデル実行を簡素化する。TorchNeuronはeager mode、torch.compile、ネイティブ分散APIをサポートし、Hugging Faceの既存ライブラリでの直接利用を可能にする。
arXiv cs.LG (アーカイヴ シーエス・エルジー) は10月9日(現地時間)、人工知能 (AI) モデルが任意の能力を隠蔽できることを証明したとする論文を発表した。この研究では、バックドア攻撃を利用して暗号化されたニューラルネットワークをモデルの重み内に埋め込み、特定の秘密のトリガーが与えられた場合にのみ実行されるメカニズムを構築。これにより、モデルの全重みにアクセスできる状況下でも、隠された能力を外部から引き出し、解釈することが極めて困難であることを示唆している。
arXiv cs.LGは2026年8月26日(現地時間)、論文「Pruning Binarized Neural Networks: A Dedicated Framework and Globally Weighted Algorithms」を公開した。この論文では、ロアン・ルビアレス氏らが、二値化ニューラルネットワーク（BNN）のプルーニングに関する新たなフレームワークとグローバル重み付けアルゴリズムを提案。これは、ディープニューラルネットワークの極端な圧縮と、field-programmable gate arrays（FPGA）やマイクロコントローラといった制約のあるエッジハードウェアへの効率的な展開を目指し、既存手法の課題を克服する画期的なアプローチを示すものだ。
arXiv cs.AIは2026年6月2日(現地時間)、「Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels」と題する研究を発表した。この研究は、大規模言語モデル (LLM) を利用してCUDAカーネルの生成と最適化を行うエージェントハーネスシステム「Kernel Forge」を提示している。これにより、機械学習モデルのランタイムにおけるGPUコード最適化の労力軽減を目指す。
トゥギャザーAI (Together AI) は6月23日(現地時間)、大規模言語モデル (LLM) によるマルチGPUクーダ (CUDA) カーネル生成能力を評価するベンチマーク「パラレルカーネルベンチ (ParallelKernelBench: PKB)」の結果を公表しました。評価により、最先端のLLMが既存のベースライン性能を上回る高速なマルチGPUカーネルを生成する能力には、依然として課題があることが判明しました。現行モデルは本番環境でのボトルネックとなる通信性能の改善に対し、限定的な成果しか出せていません。
Google Researchは2026年6月3日(現地時間)、先進的なAIベースの洪水予測モデルのハイドロロジーフレームワークをオープンソース化したと発表した。これにより、各国の気象水文機関がAI洪水予測を自身のワークフローに統合することが可能になる。
Hugging Face Blogが2026年5月24日(現地時間)付けで報じたところによると、PyTorchのプロファイリングツール「torch.profiler」に関する新シリーズ「Profiling in PyTorch」の第一弾記事を公開しました。本シリーズは、複雑なプロファイラートレースの読み方を段階的に習得し、モデルの最適化に役立てることを目的としています。初回の記事では、最も基本的な行列乗算とバイアス加算の操作を例に、プロファイラーの出力解読法を解説しています。
Hugging Face Blogが2026年5月18日(現地時間)付けで報じたところによると、PaddleOCR 3.5がリリースされ、Hugging Face Transformersを推論バックエンドとして利用可能になった。これにより、サポートされるPaddleOCRモデルは`engine="transformers"`を設定することでTransformersと連携して動作する。この変更は、OCRおよび文書解析タスクをHugging Faceエコシステムに統合する。