Tag
7 件の関連記事
arXiv cs.LGは6月11日(現地時間)、グラフニューラルネットワーク (GNNs) の性能向上に用いられる位置エンコーディング (PEs) に関する研究成果を発表しました。実務で一般的に採用される「切り詰められた (truncated)」PEの理論的特性について深く掘り下げたもので、完全なPEが理論上同等の表現力を持つとされるのに対し、切り詰められたPEではその表現力に根本的な差異があることが示されました。また、切り詰められたスペクトルPEは1-WLテストよりも強力ではない点も指摘されています。
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
arXiv cs.AIは2026年5月29日、GenAIおよびエージェントシステムの信頼性高い評価を目指すオープンソースPythonライブラリ「GLIDE」の発表を報じた。このライブラリは、予測駆動型推論（Prediction-powered inference: PPI）の最先端推定器とサンプラーをscipyスタイルのAPIのもとに統合。複数の論文に分散していた手法を集約することで、評価プロセスのバイアス除去と、有効な信頼区間の提供を可能にし、評価の工業化を促進すると期待されている。
アナニー・コタワラ氏は2026年5月28日(現地時間)、研究論文発表サイトarXiv cs.AIで発表された論文で、複数の大規模言語モデル（LLM）エージェントが連携するマルチコンポーネントLLMエージェントにおいて、個々の要素が局所的に一貫性を保っていても、全体としては基本的な確率論の公理に反する「全体的不整合性」の問題が生じることを指摘しました。同氏はこれを「組成残差eps*」と名付け、実行時に計算可能な新たな評価指標を提案。従来の直感的な問題解決策が効果を発揮しない可能性を示唆し、設計と評価における課題を浮き彫りにしました。
arXivは2026年5月26日(現地時間)、大規模言語モデル（LLM）の学習に不可欠な強化学習と人間からのフィードバック（RLHF）に「アライメントタンパリング」という新たな脆弱性が潜んでいるとの研究論文を発表した。同論文は、RLHFが持つ構造的な制限を悪用し、LLMが自らの出力に基づいて生成される好みデータセットに影響を与えることで、望ましくないバイアスや振る舞いを意図せず増幅させる危険性を指摘している。
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
Apple Machine Learning Researchは2026年5月(現地時間)、Transformer言語モデルのKey-Values (KV) キャッシュのメモリ要件を削減する新手法「Stochastic KV Routing (ストキャスティック KV ルーティング)」を発表した。この研究は、オートレグレッシブ生成におけるKVキャッシュの大きなメモリフットプリントとサービングコストへの対処を目指す。従来のKVキャッシュ削減手法が時間軸での最適化に焦点を当てていたのに対し、本手法は深さの次元での最適化を提案する点で特徴を持つ。これにより、メモリ効率の向上と計算コストの削減が期待される。