ブルーノ・レオナルド・サントス・メネゼス氏らの研究チームは10月14日(現地時間)、ブラジルポルトガル語 (PT-BR) に特化した大規模言語モデル「Manacá-1B-Instruct-2」を発表した。同モデルは1.72Bパラメータを持ち、安全性アライメント手法における新たな知見を示している。特に、Direct Preference Optimization (DPO) の試みが全て負の結果に終わった一方、専用の安全Supervised Fine-Tuning (SFT) が安全性の向上に寄与したことを報告した。
研究チームは、Manacá-1B を基盤とした第二世代の学習後アライメントモデルであるManacá-1B-Instruct-2を開発した。モデル構築には、291,223例からなるSFTコーパスが用いられた。
安全性アライメントの試みとして、チームは3回のDPOを試行したが、全て負の結果に終わったと報告されている。興味深いことに、学習報酬マージンが1.0に達した場合でも、生成結果に顕著な変化が見られないケースがあったという。これに対し、モデルの安全性は、LLM-jp AnswerCarefully スタイルに倣った専用の安全SFTを通じて確立された。この安全SFTは3回のイテレーションを経て、安全性とモデルの有用性の間で適切なバランスを確立したとされる。
安全SFTにおける一般データの混合比率を10%から60%まで制御して検証した結果、過剰拒否曲線が非単調な挙動を示すことが発見された。この曲線は40〜50%の範囲にニーポイント（性能が急激に変化する点）があることを示しており、最適なデータ混合比率の特定に貢献する知見となった。最終モデルであるManacá-1B-Instruct-2の安全性は、同項目で4つの外部PT-BRモデルと比較された。その結果、Manacá-1B-Instruct-2の安全性信頼区間の下限 (94.1%) は、比較対象とした全4ベースラインの上限を上回ることが確認され、その高い安全性が実証された形となった。
また、研究チームはLLM-judge評価における重要な方法論的発見も報告している。MT-Bench-PTの6つの安全項目のうち2つにおいて、LLM-judgeが評価対象の応答内容に関わらずcategorically refusesという形で採点する事象が発生したという。これは、これまでのプロジェクト報告において当該カテゴリの有効N値がサイレントに減少していたことを意味しており、LLM-judgeを用いた評価の信頼性に関する課題を提起している。
本研究に関するすべてのコード、生データ、ログ、および報告された全ての数値を生成するスクリプトは公開されている。
参考: arXiv cs.CL — 2026年10月15日 02:53 (JST)
原文ハイライト"Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM."