arXiv cs.CLは2026年9月10日(現地時間)、中国語軍事ニュースに特化した情報抽出ベンチマークデータセット「CMNIE」を発表した。この研究はYan Yu氏らが執筆したもので、既存の情報抽出リソースがイベント、イベント引数、エンティティ、および関係を統合してモデリングする上での限定的な課題に対応することを目指す。
CMNIEは、軍事ドメインのリソースを文書レベルのイベントアノテーションを超えて拡張し、統一されたドメインスキーマの下でイベントトリガー、イベント引数、固有表現（named entities）、およびエンティティ関係を共同でアノテーションする。このアプローチは、中国語軍事ニュースからの構造化抽出を支援し、情報分析、意思決定、および知識ベース構築に貢献することを目指している。
データセットには、公開されている中国語軍事ニュースから収集された13,000のインスタンスが含まれる。これらは、7種類のイベントタイプ、10種類の引数ロール、7種類のエンティティタイプ、および8種類の関係タイプについて手動でアノテーションされている。
研究チームは、教師あり情報抽出（IE）モデル、ゼロショット大規模言語モデル（LLM）、およびファインチューンされたLLMベースの抽出メソッドを共有テストセットで評価した。実験結果によると、CMNIEは依然として困難な課題を提示しており、特に関係抽出とイベント引数の厳密なスパンマッチングにおいてその傾向が顕著である。ゼロショットLLMは関連する意味単位を特定することが多いものの、正確なゴールドスパン境界に一致させることには失敗している。
CMNIEは、特定の中国語ニュースにおけるスキーマへの準拠、厳密なスパンマッチング、および共同構造化情報抽出の研究のための標準化されたベンチマークを提供するものとして期待されている。
参考: arXiv cs.CL (アーカイブ) — 2026年9月11日 13:00 (JST)