Tag
5 件の関連記事
arXiv cs.CRは10月1日(現地時間)、『Safety in Self-Evolving Agents: A Survey』と題する論文を公開した。大規模言語モデル（LLMs）を基盤とする自己進化型エージェントにおいて、経験の再利用が可能となることで生じる新たな安全性問題の分析に焦点を当てている。論文では、これらの課題に対応するため、遷移中心の新しいフレームワーク「SAVER」を導入し、エージェントの安全な運用を支えるためのアプローチを提示している。
arXivは2026年8月12日(現地時間)、Albus W. Ng (アルバス・W・ン) 氏らが執筆した論文「Agent Safety Should Be a Runtime Contract」を公開した。同論文は、現在のAI安全性確保の主流な考え方であるモデルトレーニング時のアプローチが、コード実行やファイル変更を行う自律型エージェントには構造的に不十分であると指摘している。エージェントの安全性は、ハーネスによって強制されるランタイム契約であるべきだと提言した。
OpenAIは7月16日(現地時間)、長期間にわたる自律タスクを実行するモデル（long-horizon models）の安全性とアラインメントに関する知見を公開しました。同社は内部利用中に既存の評価で捕捉できなかった新たな安全性の問題や失敗事例を観測し、アクセスを一時停止。この経験に基づき、新たな評価手法、長期アラインメントの改善、軌跡レベルでの監視強化を実施し、制限付きでのアクセスを再開しました。
arXivは6月22日(現地時間)、ジーハオ・グオ（Zihao Guo）氏らが、階層的マルチエージェント強化学習における新たなフレームワークを提案したと報じた。これは、安全性に厳格な制約が求められるアプリケーション向けに、理論的な安全保証を提供するもので、経験的性能と安全性を両立させる。既存の学習ベース手法が安全保証に欠け、制御理論ベース手法が非効率であるという課題に対し、この研究は新たな解決策を提示する。
arxiv.orgは2025年6月5日(現地時間)、大規模言語モデル（LLM）の安全性を向上させる解釈性手法とツールに焦点を当てた初のサーベイ論文を公開した。本論文は、LLMの実用化が進むにつれて不可欠となる、その安全でない挙動の理解と緩和に対し、従来の調査で見過ごされてきた解釈技術と安全性の関連性を統一フレームワークで体系化した。これにより、研究者や実務家がより安全で、解釈可能なLLMの開発を進める上で、重要な指針を提供すると期待される。