ハンドシェイク AI (Handshake AI) は11月9日(現地時間)、ポッドキャスト「Latent Space」が報じたところによると、事業開始から約1年で年間換算粗収益が10億ドルに達した。同社はフロンティアラボに対し、金融、バイオ、アライメントといった多様な分野で、モデルの評価や安全性検証に特化した専門的な学習データを提供している。この事業展開において、フロンティアラボがどのようなデータを購入しているのか、同ポッドキャストがHandshake AIの事例を通じて深掘りした。
ハンドシェイク AI (Handshake AI) の事業は、人間の専門家レベルに及ばないモデル評価の課題に取り組んでおり、その活動は金融、バイオ、アライメントといった複数の分野にわたる。ギャレット・ロード (Garrett Lord) 氏と彼のチームは、これらの強化学習環境をライブデモンストレーション形式で紹介した。
金融分野のデモでは、エージェントが銀行のメールから割り当てられたタスクを特定し、関連ファイルを特定してワークブックを作成する様子が示された。具体的な事例として、クライアントのメールに記載された既存の営業権に関する1行の数字をエージェントがPythonに持ち込み、それを差し引く作業が紹介されている。コリン・シュヴァイカー (Collin Schweiker) 氏とサヒル・バイワラ (Sahil Bhaiwala) 氏によると、モデルは直接質問された際には税務処理を説明できるものの、特定のコード行にルールを適用すべき場面での認識に誤りが生じる場合がある。関連ベンチマークとして、シミュレートされた銀行の受信トレイ、文書、財務モデルを横断するエージェント向けに開発された「ATLAS-Finance」や、取引をクライアントのメールから評価決定まで追跡する「Project Osprey」、今回のデモで利用された「Project Falcon」が挙げられている。
バイオ分野では、ニック・マガジン (Nick Magazine) 氏とジョナス・ミューラー (Jonas Mueller) 氏が、科学者が使用する画像を解釈するためのHandshake AIのベンチマーク「VIALS」を紹介した。例えば、画面上に表示された9枚の脳腫瘍組織のスライドから最も進行した血管壊死を示す2枚を特定するタスクにおいて、モデルは人間が選んだ2枚に加えて別の1枚も選択した。これは、モデルが組織から欠けている要素を認識できていない可能性を示唆する。VIALSには、この脳腫瘍組織タスクやゲル電気泳動のバンド読み取りタスクなどが含まれる。
アライメント（安全性）分野では、スティーブ・ケリング (Steve Kelling) 氏とニシャント・ランカ (Nishant Ranka) 氏が、シミュレートされたファイルアクセス作業においてエージェントが読み取ったファイル、確認したコピー、シェル履歴を検査する様子を実演した。これは、エージェントの最終的な応答の記録だけでは評価の大部分を見落とすことを示している。彼らはまた、「CAREBench」と拒否反応の限界についても言及している。
ポッドキャストでは、ギャレット・ロード氏、サヒル・バイワラ氏、ニシャント・ランカ氏が市場における専門データについて、ニック・マガジン氏とジョナス・ミューラー氏がライフサイエンスにおけるゲルや脳組織タスクについて、コリン・シュヴァイカー氏とサヒル・バイワラ氏がProject FalconとExcelグレーダーについて、スティーブ・ケリング氏とニシャント・ランカ氏が安全性シミュレーションにおけるエージェントのツール呼び出しについて解説した。
参考: Latent Space — 2026年11月10日 02:15 (JST)
原文ハイライト"went from launch to $1 billion in gross annualized revenue"