#Gemma-2 関連記事

LLM内部に法要因の表現を確認、専門家定義の26種が解読可能

Li Zhang氏らは10月19日(現地時間)、arXiv cs.CL上で、大規模言語モデル（LLM）の内部表現に、専門家が定義した26種のCATO要因が線形的に解読可能であることを示す研究結果を発表した。法務分野におけるLLMの知識組織の追跡が困難であるという課題に対し、Qwen3-1.7B、Qwen3-8B、およびGemma-2 2Bの3つのオープンモデルで調査。全てのモデルで26の要因が線形的に解読可能と確認された。

リサーチ・論文 5月8日 16:24 注目

SLAM、言語モデル向け透かし新手法: 品質低下1-2Pで検出精度100%

ファブリス・ハレル＝カナダ氏とアミット・サハイ氏は5月6日（現地時間）、言語モデル向けホワイトボックス透かし方式「SLAM（Structural Linguistic Activation Marking）」の論文をarXiv上に公開した。この手法はスパースオートエンコーダーでモデル内部の言語構造方向を操作し、透かしを埋め込む。Gemma-2の2Bおよび9Bモデルを用いた評価では検出精度100%を達成しつつ、テキスト品質の低下を1〜2報酬ポイントに抑えたと報告している。