Outpost VFXがAWSを活用して視覚効果のAIモデルトレーニングを加速
サマリー
Outpost VFXはAWSを活用し、AIモデルのトレーニング速度を8倍に向上させました。これにより、顔置換プロセスの効率が大幅に改善され、クライアントへの初回レビュー納品が2日で可能になりました。今後は、さらなる画像出力の品質向上が期待されています。
本文
この投稿は、Outpost VFXのTim Chauncey氏とDheeraj Bhadani氏と共同執筆されたものです。視覚効果（VFX）のAIモデルトレーニングは数週間かかることがあり、生産スケジュールにボトルネックを生じさせます。イギリス、カナダ、インドにスタジオを持つOutpost VFXは、高品質な映画やエピソードコンテンツを提供しており、遅延が発生するとクライアントへの納品やプロジェクトスケジュールに影響を与えます。本記事では、Outpost VFXがAWSインフラを使用して顔置換ワークフローを変革し、トレーニング速度を8倍に向上させた方法、単一GPUの制限を克服するために実装した技術アーキテクチャ、そしてAWSのマルチGPUトレーニングを通じて達成した測定可能な結果について探ります。
課題：AIトレーニングにおける単一GPUのボトルネック
従来の顔置換ワークフローは、監督の承認を得るために初期バージョンを作成するのに5日以上の合成作業や専門的なビューティーおよび老化サポートを必要とします。これらの方法は効果的ですが、承認プロセスの初期段階でボトルネックを生じさせ、生産スケジュールに最も重要な影響を与えます。VFX専門家にとって、遅いAIトレーニングは直接的に納期の遅れ、コストの増加、クライアントからのフィードバックサイクルの遅延につながります。
Outpost VFXは、現場の映像を用いて顔置換プロセスを加速するAIモデルを開発しましたが、効率は単一GPUの計算制限によって制約されていました。既存の顔交換ツールは一度に1つのGPUしか利用できず、モデルトレーニング操作のためのビデオランダムアクセスメモリ（VRAM）へのアクセスと処理能力が制限されていました。これにより、チームはAI支援アプローチの真の可能性を実現できませんでした。
設計上の考慮事項
Outpost VFXは、AIワークフローを最適化するための3つの重要な技術要件を特定しました：
1. 計算のスケーラビリティ - チームは、複数のGPUにわたって顔置換モデルのトレーニングを並列化する必要がありました。単一GPUのトレーニングは、モデルの反復サイクルに週単位の遅延を生じさせていました。
2. インフラのセキュリティ - 2022年からAWSの顧客であり、完全に仮想化された技術スタックを持つOutpost VFXは、高度に機密性の高い制作データを処理するための厳格なセキュリティ要件を満たすソリューションが必要でした。
3. パフォーマンスの最適化 - 生の速度向上を超えて、アーキテクチャはより大きなデータセットと高解像度の画像をサポートし、出力品質を向上させる必要がありました。
これらの要件に対処するために、Outpost VFXはAWS Generative AI Innovation Centerの開発者と協力し、AI学習アルゴリズムを近代化しました。AWS Generative AI Innovation Centerは、顧客と一緒にステップバイステップで作業し、生成AIの力を活用したカスタムソリューションを構築する戦略家、データサイエンティスト、エンジニア、ソリューションアーキテクトのチームです。
アーキテクチャの実装
このソリューションは、Outpost VFXの既存の顔交換モデルコードベースを適応させ、複数のGPUにわたる分散トレーニングをサポートしました。実装には、Outpost VFXの既存のインフラ要件に沿った分離された安全なクラウド環境内でのAWSマルチGPU Amazon Elastic Compute Cloud（Amazon EC2）P5インスタンスが使用されました。
当初、Outpost VFXはGPU加速ワークステーションで顔交換モデルをトレーニングしていました。これには、俳優とそのスタントダブルの小さなデータセットを収集し、RTX 3090 GPUでベースモデルを微調整することが含まれていました。この方法は機能しましたが、Outpostチームはトレーニング時間が遅く、微調整ごとに約1〜2週間かかることを発見しました。スケールアップは、これらのクラウドワークステーションの管理オーバーヘッドのために困難でした。この時点で、彼らはP5インスタンスでのトレーニングを検討しました。
P5インスタンスは、分散トレーニングワークロード用に特別に設計されたNVIDIA H100 GPUを搭載しています。GシリーズインスタンスがGPU間でPCIe通信を使用するのに対し、P5インスタンスはNV Linkインターコネクトを提供し、勾配の同期に必要な帯域幅を大幅に向上させます。H100の14,592 CUDAコアと80GBの高帯域幅HBM3メモリは、彼らのローカルRTX 3090セットアップに対する大幅なアップグレードを表しています。
Outpost VFXは、Generative AI Innovation Centerと協力して、P5インスタンスでモデルを実行できるようにしました。6週間のアドバイザリー期間中に、AWSの科学者たちはモデルコードをPyTorch Distributed Data Parallel（DDP）トレーニング戦略を使用するように変換しました。DDPは、モデルの重みを各GPUにコピーする並列化技術であり、システムが各トレーニングバッチでより多くの画像を処理できるようにします。このアプローチにより、各バッチにフィットできる画像の数が増え、トレーニングプロセスが直接加速されます。
技術的な実装には、顔置換モデルのトレーニングのマルチGPU並列化、機密な制作データのための強化されたセキュリティアーキテクチャ、Outpost VFXの既存のAWSベースの技術スタックとの統合が含まれました。Outpost VFXがAIパイプラインを進化させ続ける中で、チームは、管理されたトレーニング、モデルバージョニング、ホスティングされた推論を備えたAmazon SageMaker AIのようなサービスに潜在能力を見出しています。
パフォーマンス改善の測定
マルチGPUトレーニングの速度向上をテストするために、Outpost VFXはトレーニング用の画像データセットを収集し、モデルのハイパーパラメータを固定し、特定の損失閾値に達するまでのトレーニング時間を測定しました。ベースラインは、G5インスタンスの1つのGPUとP5インスタンスでモデルを実行した場合を比較しました。
Outpost VFXとAWSの共同開発により、顔置換モデルの学習速度が最大8倍向上しました。このパフォーマンスの向上は、より迅速な反復サイクルに直接つながり、初期バージョンの監督承認プロセスを加速しました。高解像度の画像や大規模なデータセットでモデルをトレーニングする能力は、出力品質を向上させました。最も重要なことに、クライアントへの初回レビュー用のv001納品は、以前の1〜2週間のタイムラインに対して、現在は2日で行われるようになりました。
「私たちは、並列化されたワークフローと複数のトップエンドGPUを同時に活用できるおかげで、はるかに迅速に反復できるようになりました」とOutpost VFXのCTOであるTim Chauncey氏は説明します。「反復の速度はVFX作業にとって重要であり、このアーキテクチャは将来の開発に向けたより堅牢でスケーラブルな能力を提供します。」
将来的な改善点としては、画像出力の品質を向上させることが考えられます。Outpostは、モデルに渡される画像の解像度を上げ、より多くのVRAMを持つ新世代のAmazon EC2 P5インスタンスを使用して、これらの大きな画像や大規模なデータセットを処理することができます。
結論
AWS最適化アーキテクチャにより、Outpost VFXはクライアントに対して強化されたAI支援の顔置換機能を提供し、高品質な視覚効果制作のセキュリティとスケーラビリティ要件を維持できます。ローカルの消費者向けNVIDIA GPUからエンタープライズ向けNVIDIA GPUへの移行を含む並列化されたワークフローアーキテクチャは、Outpost VFXのグローバルスタジオオペレーション全体での将来のAIツール開発とスケーリングの基盤を提供します。
「私が最も興奮しているのは、これらのモデルがもはや研究実験ではなく、現代のVFXパイプラインの不可欠な部分になりつつあることです」とOutpost VFXのリードソフトウェアアーキテクトであるDheeraj Bhadani氏は述べています。「マルチGPU加速は、次世代のクリエイティブツールが構築される基盤です。」
次のステップ
自分自身のAIトレーニングワークフローを加速したい場合は、以下のステップを検討してください：
- 現在のGPU利用状況を評価する：単一GPUの制約がトレーニングパフォーマンスを制限しているかどうかを特定する。
- マルチGPUアーキテクチャを探る：Amazon EC2 P5インスタンスは、分散トレーニングワークロードのためのスケーラブルな計算を提供します。
- AWS Generative AI Innovation Centerに相談する：Outpost VFXのトレーニングワークフローを並列化するのを助けた同じチームです。
特定のユースケースやインフラ要件に合わせた分散トレーニング戦略を実装することで、同様の結果を得ることができます。
課題：AIトレーニングにおける単一GPUのボトルネック
従来の顔置換ワークフローは、監督の承認を得るために初期バージョンを作成するのに5日以上の合成作業や専門的なビューティーおよび老化サポートを必要とします。これらの方法は効果的ですが、承認プロセスの初期段階でボトルネックを生じさせ、生産スケジュールに最も重要な影響を与えます。VFX専門家にとって、遅いAIトレーニングは直接的に納期の遅れ、コストの増加、クライアントからのフィードバックサイクルの遅延につながります。
Outpost VFXは、現場の映像を用いて顔置換プロセスを加速するAIモデルを開発しましたが、効率は単一GPUの計算制限によって制約されていました。既存の顔交換ツールは一度に1つのGPUしか利用できず、モデルトレーニング操作のためのビデオランダムアクセスメモリ（VRAM）へのアクセスと処理能力が制限されていました。これにより、チームはAI支援アプローチの真の可能性を実現できませんでした。
設計上の考慮事項
Outpost VFXは、AIワークフローを最適化するための3つの重要な技術要件を特定しました：
1. 計算のスケーラビリティ - チームは、複数のGPUにわたって顔置換モデルのトレーニングを並列化する必要がありました。単一GPUのトレーニングは、モデルの反復サイクルに週単位の遅延を生じさせていました。
2. インフラのセキュリティ - 2022年からAWSの顧客であり、完全に仮想化された技術スタックを持つOutpost VFXは、高度に機密性の高い制作データを処理するための厳格なセキュリティ要件を満たすソリューションが必要でした。
3. パフォーマンスの最適化 - 生の速度向上を超えて、アーキテクチャはより大きなデータセットと高解像度の画像をサポートし、出力品質を向上させる必要がありました。
これらの要件に対処するために、Outpost VFXはAWS Generative AI Innovation Centerの開発者と協力し、AI学習アルゴリズムを近代化しました。AWS Generative AI Innovation Centerは、顧客と一緒にステップバイステップで作業し、生成AIの力を活用したカスタムソリューションを構築する戦略家、データサイエンティスト、エンジニア、ソリューションアーキテクトのチームです。
アーキテクチャの実装
このソリューションは、Outpost VFXの既存の顔交換モデルコードベースを適応させ、複数のGPUにわたる分散トレーニングをサポートしました。実装には、Outpost VFXの既存のインフラ要件に沿った分離された安全なクラウド環境内でのAWSマルチGPU Amazon Elastic Compute Cloud（Amazon EC2）P5インスタンスが使用されました。
当初、Outpost VFXはGPU加速ワークステーションで顔交換モデルをトレーニングしていました。これには、俳優とそのスタントダブルの小さなデータセットを収集し、RTX 3090 GPUでベースモデルを微調整することが含まれていました。この方法は機能しましたが、Outpostチームはトレーニング時間が遅く、微調整ごとに約1〜2週間かかることを発見しました。スケールアップは、これらのクラウドワークステーションの管理オーバーヘッドのために困難でした。この時点で、彼らはP5インスタンスでのトレーニングを検討しました。
P5インスタンスは、分散トレーニングワークロード用に特別に設計されたNVIDIA H100 GPUを搭載しています。GシリーズインスタンスがGPU間でPCIe通信を使用するのに対し、P5インスタンスはNV Linkインターコネクトを提供し、勾配の同期に必要な帯域幅を大幅に向上させます。H100の14,592 CUDAコアと80GBの高帯域幅HBM3メモリは、彼らのローカルRTX 3090セットアップに対する大幅なアップグレードを表しています。
Outpost VFXは、Generative AI Innovation Centerと協力して、P5インスタンスでモデルを実行できるようにしました。6週間のアドバイザリー期間中に、AWSの科学者たちはモデルコードをPyTorch Distributed Data Parallel（DDP）トレーニング戦略を使用するように変換しました。DDPは、モデルの重みを各GPUにコピーする並列化技術であり、システムが各トレーニングバッチでより多くの画像を処理できるようにします。このアプローチにより、各バッチにフィットできる画像の数が増え、トレーニングプロセスが直接加速されます。
技術的な実装には、顔置換モデルのトレーニングのマルチGPU並列化、機密な制作データのための強化されたセキュリティアーキテクチャ、Outpost VFXの既存のAWSベースの技術スタックとの統合が含まれました。Outpost VFXがAIパイプラインを進化させ続ける中で、チームは、管理されたトレーニング、モデルバージョニング、ホスティングされた推論を備えたAmazon SageMaker AIのようなサービスに潜在能力を見出しています。
パフォーマンス改善の測定
マルチGPUトレーニングの速度向上をテストするために、Outpost VFXはトレーニング用の画像データセットを収集し、モデルのハイパーパラメータを固定し、特定の損失閾値に達するまでのトレーニング時間を測定しました。ベースラインは、G5インスタンスの1つのGPUとP5インスタンスでモデルを実行した場合を比較しました。
Outpost VFXとAWSの共同開発により、顔置換モデルの学習速度が最大8倍向上しました。このパフォーマンスの向上は、より迅速な反復サイクルに直接つながり、初期バージョンの監督承認プロセスを加速しました。高解像度の画像や大規模なデータセットでモデルをトレーニングする能力は、出力品質を向上させました。最も重要なことに、クライアントへの初回レビュー用のv001納品は、以前の1〜2週間のタイムラインに対して、現在は2日で行われるようになりました。
「私たちは、並列化されたワークフローと複数のトップエンドGPUを同時に活用できるおかげで、はるかに迅速に反復できるようになりました」とOutpost VFXのCTOであるTim Chauncey氏は説明します。「反復の速度はVFX作業にとって重要であり、このアーキテクチャは将来の開発に向けたより堅牢でスケーラブルな能力を提供します。」
将来的な改善点としては、画像出力の品質を向上させることが考えられます。Outpostは、モデルに渡される画像の解像度を上げ、より多くのVRAMを持つ新世代のAmazon EC2 P5インスタンスを使用して、これらの大きな画像や大規模なデータセットを処理することができます。
結論
AWS最適化アーキテクチャにより、Outpost VFXはクライアントに対して強化されたAI支援の顔置換機能を提供し、高品質な視覚効果制作のセキュリティとスケーラビリティ要件を維持できます。ローカルの消費者向けNVIDIA GPUからエンタープライズ向けNVIDIA GPUへの移行を含む並列化されたワークフローアーキテクチャは、Outpost VFXのグローバルスタジオオペレーション全体での将来のAIツール開発とスケーリングの基盤を提供します。
「私が最も興奮しているのは、これらのモデルがもはや研究実験ではなく、現代のVFXパイプラインの不可欠な部分になりつつあることです」とOutpost VFXのリードソフトウェアアーキテクトであるDheeraj Bhadani氏は述べています。「マルチGPU加速は、次世代のクリエイティブツールが構築される基盤です。」
次のステップ
自分自身のAIトレーニングワークフローを加速したい場合は、以下のステップを検討してください：
- 現在のGPU利用状況を評価する：単一GPUの制約がトレーニングパフォーマンスを制限しているかどうかを特定する。
- マルチGPUアーキテクチャを探る：Amazon EC2 P5インスタンスは、分散トレーニングワークロードのためのスケーラブルな計算を提供します。
- AWS Generative AI Innovation Centerに相談する：Outpost VFXのトレーニングワークフローを並列化するのを助けた同じチームです。
特定のユースケースやインフラ要件に合わせた分散トレーニング戦略を実装することで、同様の結果を得ることができます。
