AI注目記事のキュレーターページ

モデルを教師ありファインチューニング（SFT）で微調整する際、高品質な思考の連鎖（CoT）推論トレースを作成することは実用的ではなく、費用がかかることが多いです。そのため、推論を省略して入力と出力のみでトレーニングすることを選択するかもしれません。しかし、推論はAmazon Nova 2ファミリーのモデルの重要な能力であり、特にコーディングや数学のような難しい問題において予測性能を大幅に向上させることが示されています。Amazon Nova 2のカスタマイズにより、SFTや強化ファインチューニング（RFT）などの技術を通じて特定のドメインで思考モデルの力を活用できます。SFTの重要な要件は、強力な教師モデルからの検証済みの黄金CoTトレースがSFTデータセットに存在することです。本記事では、SFTカスタマイズにおいて推論トレースが不足しているデータセットのために思考トークンを生成するアイデアを探ります。自己蒸留推論（SDR）を導入し、3つのベンチマークで検証し、実用的な推奨事項を提供します。SDRは、基本のAmazon Nova 2 Liteモデルからの思考の連鎖を非推論データセットの代替として再利用します。実験を通じて、SDRの導入が目標性能の向上や壊滅的忘却の軽減に与える影響についていくつかの観察を行いました。