AI注目記事のキュレーターページ

本日、Amazon SageMaker AI非同期推論にインラインペイロードのサポートが追加されたことを発表します。これにより、顧客はInvokeEndpointAsync APIのリクエストボディに直接推論ペイロードを送信できるようになり、各呼び出しの前にAmazon S3に入力データをアップロードする必要がなくなります。128,000バイトまでのペイロードに対応し、ネットワークの往復を削減し、クライアント側のコードを簡素化し、非同期推論ワークロードの運用面を軽減します。この記事では、この機能の背景、顧客体験の変化、インラインペイロードの使用方法について説明します。従来の非同期推論では、入力ペイロードをS3バケットにアップロードし、その後エンドポイントを呼び出す必要がありましたが、今回の変更により、Bodyパラメータを使用してインラインでペイロードを送信できるようになりました。これにより、レイテンシの削減、アーキテクチャの簡素化、エラーの減少、コストの削減、即時のバリデーションフィードバックが実現されます。小さなペイロードにはインラインペイロードを、より大きなペイロードには従来のInputLocationを使用することが推奨されます。