SageMaker HyperPodにおけるLLM推論のための分散プリフィルとデコード
サマリー
分散プリフィルとデコード（DPD）は、GPUの干渉を排除し、LLM推論の効率を向上させる技術です。特に長いプロンプトや高同時接続のワークロードにおいて、トークン生成の遅延を削減します。この記事では、Amazon SageMaker HyperPodでのDPDの実装方法を解説します。
本文
プリフィルとデコードが同じGPUを共有すると、長いプロンプトが同時リクエストのトークン生成を停止させることがあります。分散プリフィルとデコード（DPD）は、各フェーズをElastic Fabric Adapter（EFA）を介して接続された別々のGPUプールで実行することでこの干渉を排除します。大規模言語モデル（LLM）の推論には、計算に依存するプリフィルとメモリに依存するデコードという2つの根本的に異なるフェーズがあります。DPDを使用することで、長いコンテキストを持つ高同時接続のストリーミングワークロード（チャットアシスタント、エージェントパイプライン、文書分析エンドポイントなど）において、トークンの遅延を大幅に削減できます。この記事では、Amazon SageMaker HyperPod上でvLLMを使用してDPDを実装する方法を示します。
