OpenAIとAnthropicは10月14日(現地時間)、AIエージェントの有用な自律性と、重要事項に対する安全な制御の両立について探求した。OpenAIのジョセフ・キム氏は、モデルが「threshold of usefulness (有用性の閾値)」を超えれば、金融アナリストがエージェントに業務を委任するようになると予測。一方、Anthropicは金融アドバイザー向けの「Claude for Financial Advisors」を発表し、金融エージェントに信頼層を構築するフレームワークを示した。
OpenAIの金融サービス担当ChatGPT責任者であるジョセフ・キム氏は、AI Engineer New York会議での基調講演において、ChatGPT for Financial Servicesの信頼性について言及した。キム氏は、モデルの能力向上に伴い、金融業界が2027年にはExcelやPowerPointへの依存を減らし、エージェントが投資アイデア生成やトレーディングを実行するようになると予測した。同氏は、金融分野で不可欠なトレーサビリティの重要性を指摘し、情報の出所確認とコンテキスト理解が製品詳細において重要であると述べた。
ヘッジファンドTwo Sigma（ツー・シグマ）のSVPアーキテクチャ、ジョン・フェミネラ氏は、AIの安全性とイノベーションのバランスに関する取り組みを紹介した。同社は、モデルの能力を制限することなくエージェントを制御するための5つのコントロールを導入している。フェミネラ氏は、承認疲れがイノベーションを阻害し、リスクを招く可能性を指摘し、コンポーザブルなガードレールと共有機能の重要性を主張した。具体例として、ルーティンな意思決定を行い、重要なリクエストのみを人間に送信するオートモード分類器を挙げた。
Anthropicは、金融エージェントのワークフローに「信頼」を組み込むフレームワークを提示した。Claude for Financial Advisorsを発表したAnthropicの金融サービス担当マネージングディレクター、ベリンダ・ニール氏は、モデルが有用性の閾値を超えると業務変革の波が到来すると述べた。応用AI担当のケオン・シャハブ氏は、エージェントのアイデンティティとアクセス権のレイヤー、サンドボックス化と承認レイヤー、時間の経過とともに変数を調整してもエージェントが機能し続けることを保証する3つのステップを説明した。シャハブ氏は、エージェントは取引修正案を「propose (提案)」するに留まり、実際の修正は人間の承認後に行われるべきであると強調した。
Bloomberg（ブルームバーグ）のCTOオフィスでアーキテクチャおよび新興技術の責任者を務めるアンドレイ・ルイブカ氏は、エージェントが混乱を引き起こした実例と、それを防ぐ防御策について講演した。同氏は、限定されたIDと資格情報、ツール呼び出しの制御、アウトバウンドトラフィック制限、監査証跡、予算、キルスイッチなどの対策を推奨した。ルイブカ氏は、モデル外部で確定的制御を実施し、すべての呼び出しをチェック・ログ記録し、キルスイッチを維持することの重要性を強調した。
参考: Latent Space — 2026年10月15日 06:40 (JST)
原文ハイライト"threshold of usefulness"