arXiv cs.LGは2026年11月17日(現地時間)付けで、メフメト・アルタン・トクソズ氏 (Mehmet Altan Toksöz) による研究論文を公開した。この論文は、ラップトップ上で動作する小規模言語モデルであるGemma 4 Edgeモデルに対し、教師ありファインチューニング (SFT)、低ランク適応 (LoRA)、および量子化低ランク適応 (QLoRA) を適用することで、MATLAB信号処理コード生成におけるエラー率を大幅に改善したと報告している。
この研究では、Gemma 4 EdgeモデルのE2BとE4Bに対し、11種類の信号処理MATLABサブタスクをカバーする66個の検証済み例を用いてSFTを適用した。ファインチューニングはラップトップの内蔵GPU (iGPU) 上で実行され、8ビット整数 (int8) モデルとアダプターはOpenVINOを介して展開された。
検証の結果、デジタル信号処理 (DSP) の慣例に関する体系的なエラーの改善が確認された。ホールドアウトされた評価セットにおいて、E2Bモデルの合格率は元の18/66から、LoRAとQLoRAのいずれの場合も37/66に上昇した。E4Bモデルでは、元の32/66からQLoRA適用後に47/66へと合格率が向上している。
失敗した159のプログラムを分析したところ、アダプターの導入により、遅延の符号、単位、配列の形状といった慣例に関するエラーの大部分が取り除かれた一方、信号やノイズの構築におけるエラーはわずかな改善にとどまった。ランタイムにおいて、このアダプターは生成速度の17〜19%に相当するコストを要することが示された。
参考: arXiv cs.LG — 2026年11月18日 03:47 (JST)
原文ハイライト"the pass rate rises from 18/66 to 37/66 (LoRA) and 37/66 (QLoRA)"