Tag
15 件の関連記事
論文公開媒体arXiv cs.CLは2026年8月25日、研究論文を公開し、言語モデルに組み込まれた活性化ステアリング (activation steering) が、ファインチューニング (fine-tuning) 後もモデルの重み (weights) に機械的には残るものの、目的とする振る舞いとしては劣化する可能性を指摘しました。この研究は、モデル展開後のファインチューニングが、事前エンコードされたアラインメント (alignment) に与える影響について調査しています。
Fanfei Liらの研究チームは8月13日(現地時間)、知識曝露を教育的に制御する言語モデル「リトルラーナー (LittleLearner)」に関する研究論文をarXiv cs.CLに発表した。現代のLLMが抱える知識習得過程の不明瞭さという課題に対し、米国小学校カリキュラムに沿って構築された880億トークンの事前学習コーパス「リトルカリキュラム (LITTLECURRICULUM)」を開発。このコーパスで訓練された50億パラメータのLLMがリトルラーナーであり、その知識と能力の境界を明確にすることを目指す。
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
リキッドAI (LiquidAI) は2026年8月3日(現地時間)、オンデバイスエージェント向け言語モデル「LFM2.5-2.6B」を発表した。同モデルはノートパソコンからスマートフォンまで、一般的なハードウェア上でツール利用とマルチステップワークフローをサポートする。これにより、開発者はエージェントをあらゆる場所に展開し、データプライバシーをデバイス上で維持しながら、クラウド推論コストなしでの利用拡大を可能にする。
arXiv cs.LGは8月3日(現地時間)、エッジ向け言語モデルにおける永続的なコンテキスト管理とコーパス検索に関する査読前プレプリントを公開しました。本研究は、ステートスペースモデル (SSM) の特性を利用し、プリフィルコストをO(L_context)からO(1)に削減する「プレコグ (PRECOG)」と、階層的な永続メモリシステム「構造化メモリ統合 (SMC)」を導入。エッジハードウェアでのレイテンシを大幅に改善し、実用レベルの応答性を実現できることを示しています。
研究論文「PhantomFill: When the Form Demands an Answer, Language Models Invent One」は2026年6月11日(現地時間)、言語モデルがJSONフィールドや関数引数といった特定の形式で回答を求められた際、根拠となる情報がない場合でも虚偽情報を生成する「虚偽生成（hallucination）」を引き起こす可能性を指摘した。同研究は回答不能な入力に対し13のモデルをテストし、回答形式の変更が虚偽生成を誘発する主要因であることを実証した。この現象は、生産環境におけるモデルの信頼性に課題を提起する。
ライアン・コトレル (Ryan Cotterell) 氏は7月23日(現地時間)、arXiv cs.CLに投稿した論文で、人間の言語単位の処理難易度が言語モデルのサプライザル関数であるとするサプライザル理論 (Surprisal theory) が、さらなる制約なくしては同義反復にすぎないと指摘した。同氏は、非負の難易度尺度に対して常に適切な言語モデルが存在するため、この理論が反証不可能な予測しか行わないと論じている。これにより、過去20年間心理言語学研究を支えてきた基盤への疑問を呈している。
Apple ML Researchは7月9日(現地時間)、言語モデルの長文コンテキスト処理における課題解決を目指す新フレームワーク「Self-Reflective Program Search for Long Context (SRLM)」を発表した。このフレームワークは、不確実性認識型の自己内省をプログラミングベースのコンテキストインタラクションに統合することで、長文コンテキストにおけるモデル性能向上を図る。
Anthropicは2026年7月6日(現地時間)、大規模言語モデル（LLM）の内部処理に関する新たな研究成果を発表しました。研究チームは、LLMが人間認知における「アクセス意識」に類似した機能的役割を持つ「グローバルワークスペース」を発達させている証拠を提示。モデルが出力に直接現れない「思考プロセス」を維持するための、特権的な内部表現のセットを特定しました。この発見は、AIモデルが人間と同様の高度な認知メカニズムの一部を備えている可能性を示唆しており、モデルの信頼性や予測可能性、さらには安全性向上への道を開くものと期待されます。
ジョバンニ・モネア（Giovanni Monea）氏らは7月1日(現地時間)、学術論文公開サイトarXivにおいて、大規模言語モデルの基盤技術であるTransformerの性能を向上させる新たな「状態予測分離仮説」を提唱する論文を公開しました。Transformerが次トークンの予測と将来の状態保持に同一の順方向計算ストリームを使用することに着目し、これら二つの役割を分離することで、データ効率と計算効率の両面で優れた言語モデリング性能が得られることを実証しました。
ByteDance（バイトダンス）は2026年6月24日(現地時間)、Volcano Engine FORCE conferenceで次世代AIモデルファミリー「Doubao 2.1 Pro」を発表した。企業向けAI導入強化を目指し、特にコーディングおよび長鎖エージェントタスク実行、マルチモーダル理解に重点を置いている。同社はDoubao 2.1 Proが一部評価指標でClaude Opus 4.6を上回ると主張し、コスト面での優位性も示している。
科学論文リポジトリのarXivは6月11日(現地時間)、Zilin Xiao氏らの研究チームが、言語モデルに類推による推論能力を付与する新しい学習フレームワーク「Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT)」を提案したと発表した。この手法は、従来のRetrieval-augmented generation (RAG) が持つ課題を克服し、文脈の類似性ではなく推論への寄与度に基づいて情報を選択することで、複雑な推論タスクにおける言語モデルの性能向上を目指す。
arXiv cs.CLは2026年6月4日(現地時間)、言語モデルが推論を誤るメカニズムが新たに解明されたと発表した。研究者チームは、モデルの推論過程に残るトークンレベルの不確実性信号に着目。分析の結果、推論失敗には「コミット型失敗」と「持続的不確実性」という、経験的に区別可能な二つの主要なプロセスが存在することを特定した。
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。