arXiv cs.CLは2026年10月23日(現地時間)、個人用多言語受信トレイをルーティングするシステムに関する研究論文を発表した。この研究は、セルフホスト型エージェント「Foyer」を用いた測定プロトコルを提示し、古典的なベースラインモデル、Typed Decision Models、そして生成AIモデルを含む9種類のシステムを比較。739通のイタリア語と英語のメールデータを用いて、各モデルのパフォーマンスと限界を詳細に報告している。
本研究は、個人メールエージェントがメッセージの種別、緊急性、返信の必要性、ノイズ判定などを行う際のエラー率測定が稀であるという現状を指摘している。既存のシステムでは、ラベルがシステム自体によって付与されるため、人間によるグランドトゥルース（正解データ）が不足している点が課題として挙げられた。
Federico Lucca氏が執筆した論文では、日常的に使用されているセルフホスト型個人受信トレイエージェントFoyerと、トレーニング前にグランドトゥルースを得るための測定プロトコルを提示。このプロトコルには、層化抽出、凍結スナップショット、スレッドグループ化された分割、事前登録された仮説、エージェントのレビューサイクルにおける人間によるラベル付けが含まれる。
実験では、所有者によってラベル付けされた739通の実際のイタリア語および英語のメール（231通の偏りのないデータと500通の敵対的にサンプリングされたデータ）を使用し、9種類のシステムを比較した。これらには、既存のキーワードルール、TF-IDFとlogistic regressionのベースラインモデル、ローカルのTyped Decision Models (Tev1、Nimble)、ホスト型Typed Decision Model (Nimble v4-max)、およびホスト型生成LLM (Qwen2.5-7B、Gemma 4 26B/31B) が含まれる。
約200のラベルを用いた場合、logistic regressionはメッセージタイプで0.79、緊急性で0.74、返信の必要性で0.83、ノイズ判定で0.90と、ほとんどのフィールドで最高の精度を示した。ただし、logistic regressionは最も稀な2つのクラスを予測できず、メッセージタイプにおいてはGemma 4と統計的に同等であった。また、少数の例に基づくプロンプティング（few-shot prompting）では、この差は埋まらなかった。
送信者の関係性（顧客、サプライヤー、サービスなど）については、同じ連絡先の他のメールから98.6%の精度で復元できることが判明した。しかし、どのモデルも単一のメッセージからはこの関係性を推論できなかったため、この情報はプロンプトではなくコンタクトグラフに属すると結論付けられている。
最終的に、論文は精度が必ずしも製品のメトリックではないと指摘している。アクションに変換した場合、最も高精度なシステムが、アクションを必要とするメールを無視する割合が最も高い（最高のLLMの4%に対し18%）。そのノイズ確率にコストを考慮した閾値を設定することで、この割合を半減させ、最も安価なシステムにすることが可能であると述べた。
参考: arXiv cs.CL (アーカイブ) — 2026年10月24日 02:49 (JST)