AI注目記事のキュレーターページ

大規模言語モデル（LLM）がそのサイズと複雑さを増す中、推論スループットを最大化し、レイテンシを最小化することは、企業の本番環境での展開において重要な課題です。推測デコーディングは、この課題に対処するための効果的な戦略の一つであり、軽量なドラフトモデルを利用して将来のトークンを推測し、それをターゲットLLMが単一のフォワードパスで検証します。最先端のフレームワークであるEAGLEは、印象的なスピードアップを達成しましたが、ドラフトトークンが自己回帰的に生成されるという隠れたアーキテクチャの制約に直面しています。AWSは、推測デコーディングを反復プロセスから完全に並列化された操作に変える革新的な手法であるParallel-EAGLE（P-EAGLE）を発明し、オープンソースとして提供しました。P-EAGLEは、すべての推測ドラフトトークンを単一のフォワードパスで同時に予測することで、ネストされた逐次ドラフトフェーズを完全に排除します。これにより、レイテンシのオーバーヘッドを増加させることなく、より深い推測が可能になります。Amazon SageMaker JumpStartは、P-EAGLEをネイティブにサポートし、人気のある基盤モデルの配備を簡素化します。開発者は、P-EAGLEを利用した推論エンドポイントを簡単にデプロイでき、EAGLE-3よりも最大1.69倍速い性能を実現できます。この投稿では、Amazon SageMaker AI内でP-EAGLEを直接使用する方法を説明し、モデルの選択、並列ドラフト仕様の設定、最適化されたリアルタイムエンドポイントのデプロイ方法を示します。