モハマド・フィラス・サダ氏らは2026年7月31日(現地時間)、学術論文投稿サイトarXivに研究論文を提出し、大規模言語モデル（LLMs）と古典的機械学習手法であるNaive Bayes（ナイーブ・ベイズ、NB）のテキスト分類性能を比較した。同研究は、ラベル付きデータが存在するリソース制約のある環境において、NBがLLMsと同等またはそれ以上の性能を発揮し、高いスループットと低いエネルギー消費を実現することを明らかにしている。
モハマド・フィラス・サダ氏ら6名の著者によるこの研究論文は、LLMs or Naive Bayes? Old Gems or New Waysと題されている。研究では、LLMsの台頭によりNaive Bayes（ナイーブ・ベイズ）のような古典的手法が不要になるかという問いに対し、Complement Naive Bayes（コンプリメント・ナイーブ・ベイズ）と、270億から1兆パラメータのmixture-of-expertsを含む4つのモデルファミリーのゼロショットおよびフューショットLLMsをテキスト分類タスクでベンチマーク評価した。
データが全くないゼロデータ環境では、LLMsが優勢であることが示された。例えば、Amazon Polarity sentiment（アマゾン・ポラリティ・センチメント）タスクでは、LLMsが98.0%の精度を記録し、NBの88.2%を上回った。しかし、このLLMsの優位性はデータ汚染に脆弱である可能性も指摘され、低汚染の感情分析タスクではNBが81.7%でLLMsの73.0%を上回る結果となった。
一方、ラベル付きデータが利用可能な環境においては、NBが優れた性能を示した。AG News（AGニュース）データセットでは、NBが89.1%の精度を達成し、zero-shot 27B LLMの89.0%と統計的に同等であり、397Bのフロンティアモデルの84.8%を上回った。特筆すべきは、NBがコモディティCPUで毎秒数千サンプルの処理を可能にした点である。
スループットとエネルギー効率の比較では、Fine-tuned DistilBERT（ファインチューンド・ディスティルバート）は90.6%の精度を示したが、バッチサイズ1でのスループットはNBより大幅に低かった。GPUを用いた小規模LLMsのバッチ推論は、NBのCPU推論と比較して40倍から486倍遅く、メモリ帯域幅に起因する構造的なギャップが存在する。さらに、サンプルあたりのエネルギー消費はNBがLLMsより約2桁低いことが示された。
この研究は、リソース制約のあるハイパフォーマンス・コンピューティング (HPC) の実務家がラベル付きデータを用いてテキスト分類を行う場合、Naive Bayesが最適な選択肢であると結論付けている。また、モデル選択を自動化するために、設定可能な閾値と検証可能なPrometheus（プロメテウス）メトリクスを使用するKubernetes Helm operator（クバネティス・ヘルム・オペレーター）を提供している。本論文は、Proceedings of Practice and Experience in Advanced Research Computing (PEARC ‘26) に採択された。
参考: arXiv cs.LG (アーカイブ) — 2026年9月15日 13:00 (JST)
原文ハイライト"LLMs or Naive Bayes? Old Gems or New Ways"