arXivは2026年11月3日(現地時間)、論文を公開し、その中で研究チームが、言語モデルの推論根拠を明示する「Born-Measured Attention」Transformerモデルを構築したと発表した。このモデルは、e-SNLIにおける自然言語推論で76.98 ± 0.17%のテスト精度を達成し、同規模のsoftmax Transformerと同等の性能を示した。さらに、同モデルの重みは光電子回路やクビット（qubits）へ変換可能であり、IBMの量子デバイス「ibm_kingston」で実験的な検証が行われた。
研究チームは、言語モデルが回答を生成する際の「なぜ」を推定する課題に対し、全てのステップがBorn測定であるTransformerモデルを開発した。このモデルは、Born測定に基づくアテンション（$|\langle q|k\rangle|^4$）と、フィードフォワード非線形性の代わりに測定された積、そしてBornリードアウトを採用している。これにより、各クラスの確率は単語振幅の多項式となり、その統合勾配証拠は誤差なく有限の求積法によって計算される。
e-SNLI自然言語推論ベンチマークにおいて、埋め込み層以外の約98,000パラメータを持つ同モデルは、同サイズのsoftmax Transformer（76.62 ± 0.36%）と同水準の性能を発揮した。特に、証拠に基づいて最も重要とされた単語を削除すると、テストペアの45%で回答が変化した。これは、単一の単語削除で回答が変化する可能性のある53%の範囲内であり、softmaxモデルの32%やそのアテンションと勾配による40%と比較して高い割合を示している。アノテーターが強調した単語にアテンションがより類似していても、Born Transformerの回答が変化する割合は32%だった。
このモデルの重みは、光電子光学やクビット（qubits）に正確にコンパイル可能であり、コヒーレントなアテンション層は、モデルと同等の回路（23 qubitsで852 CNOTs）となる。IBMの量子デバイス「ibm_kingston」を用いてHadamardテストによりアテンションの重複のみを読み取る実験では、デバイスは2つの短いテストペアでモデルの回答を生成し、削除条件下でもモデルと同様に回答を維持または変更した。ただし、証拠そのものはまだデバイス上で維持されておらず、ハードウェアでの測定に必要なショット数とキャリブレーションについては今後の課題として取り組んでいる。
参考: arXiv quant-ph (アーカイブ) — 2026年11月4日 03:52 (JST)
原文ハイライト"every step is a Born measurement"