0748
SIGNAL › 経営
No.0748

SageMakerのオートスケール設定変更でデプロイが落ちる、AWSが自動化の解法を公開した

ADVERTISEMENT

出典:AWS Machine Learning Blog

AIモデルを本番環境に乗せることと、それを安定して動かし続けることは、まったく別の話だ。

モデルの学習が終わり、精度評価をクリアし、エンドポイントを立ち上げた瞬間から、エンジニアチームの戦場は推論パイプラインからインフラ運用に移る。アクセス量の波に合わせてサーバーを増減させるオートスケーリングを組み合わせて、ようやく「動く本番環境」が完成する。ここまでは、多くのチームが通る道だ。

問題は、その先で起きる。

モデルをアップデートしたい。インスタンスタイプを変えたい。環境変数を差し替えたい。ごく普通の運用作業として、CDKやCloudFormationからデプロイを流す。そしてデプロイが止まる。オートスケーリングが登録されたままエンドポイントの設定を変えようとすると、SageMakerがエラーを返してデプロイを拒否する。これは特定の環境固有の話ではなく、SageMakerのオートスケーリングを使っている環境では普遍的に踏む落とし穴だ。

問題をさらやっかいにしているのは、「手動で回避しようとしても詰む」パターンが複数存在することだ。オートスケーリングを手動で解除してからデプロイすれば一見うまくいくが、CloudFormationがスケーリング設定を再登録しないため、エンドポイントはオートスケーリングなしで静かに稼働し続ける。スケーリングのパラメーターも同時に変えようとすれば、今度はCloudFormationが存在しないリソースを更新しようとしてエラーになり、ロールバックまで失敗してスタック自体が壊れる。

この問題が何年もエンジニアを悩ませてきた背景には、SageMakerのエンドポイント管理とApplication Auto Scalingという2つのサービスが、CloudFormationの文脈では互いの状態を考慮しない設計になっていることがある。「デプロイはインフラ管理ツールに任せる」という当たり前の前提が、この組み合わせでは成立しない。

本番でAIモデルを継続的に改善するサイクルを回そうとすると、どこかのタイミングで必ずこの壁にぶつかる。モデルの更新頻度が上がれば上がるほど、手動の回避作業が運用コストとして重くのしかかる。

AWSが今回公開したのは、この一連の手作業を自動化するCDKコンストラクトの実装例だ。CloudFormationのカスタムリソース機能を使い、デプロイの前後でオートスケーリングの登録解除と再登録を自動的に実行する仕組みで、エンドポイントの更新とスケーリング設定の変更を1回のデプロイで完結させる。再利用可能な部品として設計されており、複数のプロジェクトをまたいで使い回せる。

「作る」フェーズの課題は年々速く解決されるようになった。「動かし続ける」フェーズの課題が、次の積み残しとして浮かび上がってきている。


3行まとめ

  • SageMakerのエンドポイントにオートスケーリングを設定した状態でCDKやCloudFormationからデプロイを実行すると処理が失敗する既知の問題がある
  • AWSはこの問題を回避するための再利用可能なCDKコンストラクトの実装方法を公開した
  • このコンストラクトはデプロイ時にオートスケーリングの登録解除・再登録を自動実行し、エンドポイント更新とスケーリング設定変更を1回のデプロイで完結させる

※以下は詳細

ADVERTISEMENT

何が起きていたのか:3つの失敗パターン

AWSのSageMakerは、AIモデルをAPIとして公開するためのマネージドサービスです。本番運用ではアクセス量に応じてサーバー台数を自動調整するオートスケーリングと組み合わせるのが一般的な構成です。

問題は、このオートスケーリングが登録された状態でエンドポイントの設定(インスタンスタイプ・インスタンス数・環境変数など)を変更しようとすると、AWS CDKおよびCloudFormationのデプロイが失敗する点です。確認されている失敗パターンは3つあります。

パターン1:オートスケーリングが登録されたままエンドポイント設定を変更しようとするケース。SageMakerが「スケーラブルターゲットを解除してから更新せよ」というエラーを返してデプロイを拒否します。

パターン2:手動でオートスケーリングを解除した後、エンドポイント設定のみを変更して再デプロイするケース。デプロイ自体は成功しますが、CloudFormationテンプレート上のオートスケーリング設定に変更がないため、スケーラブルターゲットの再登録とスケーリングポリシーの再適用が行われません。エンドポイントがオートスケーリングなしで稼働し続けます。

パターン3:手動でオートスケーリングを解除した後、オートスケーリングのパラメーターも含めて変更して再デプロイするケース。CloudFormationが存在しなくなったScalableTargetリソースを更新しようとしてエラーになり、ロールバックも失敗してスタックが手動での復旧が必要な破損状態に陥ります。


AWSが公開した解決策:カスタムリソースによる自動化

今回AWSが公開したのは、この手作業を自動化するCDKコンストラクトの実装例です。インフラの設定をコードとして再利用できる部品として提供されています。

CloudFormationのカスタムリソース機能を使い、ネイティブのオートスケーリング用CloudFormationリソース(`AWS::ApplicationAutoScaling::ScalableTarget`および`AWS::ApplicationAutoScaling::ScalingPolicy`)を3つのカスタムリソースに置き換えます。CDKの`node.add_dependency`による明示的な依存関係の順序付けにより、デプロイの前後でオートスケーリングの登録解除と再登録を以下の順序で自動実行します。

1. 登録解除(カスタムリソース):エンドポイント更新の前にスケーラブルターゲットを削除します。初回デプロイ時はスケーラブルターゲットがまだ存在しないため、ハンドラーがエラーを適切に処理して続行します。
2. エンドポイント更新(CDK管理):CDKが通常どおりエンドポイントリソースを更新し、新しいエンドポイント設定に切り替えます。
3. スケーラブルターゲットの登録(カスタムリソース):エンドポイントが`InService`状態になるまで待機してからスケーラブルターゲットを登録します。
4. スケーリングポリシーの適用(カスタムリソース):スケーラブルターゲットが参照可能になるまで待機してからターゲットトラッキングポリシーを適用します。

構成値が変更されるたびにCloudFormationがLambda関数を再実行するよう、各カスタムリソースには`ConfigHash`プロパティが設定されています。エンドポイント設定とオートスケーリングパラメーターは1つの`ConfigHash`がオートスケーリングのオーケストレーション全体を制御するため、まとめて定義する設計になっています。

コンストラクト自体は再利用可能な設計で、複数のエンドポイントやプロジェクトをまたいで使い回せます。


全体まとめ

SageMakerのオートスケーリング環境でCDKやCloudFormationのデプロイが失敗する既知の問題に対し、AWSが再利用可能なCDKコンストラクトによる自動化の実装例を公開しました。CloudFormationのカスタムリソースを活用し、デプロイ時のオートスケーリング登録解除と再登録を自動処理することで、手動作業を排除します。エンドポイントの更新とスケーリング設定の変更は1回のデプロイで完結し、コンストラクトは複数のプロジェクトをまたいで再利用できる設計になっています。

ADVERTISEMENT
NEXT READS
SIGNALへ戻る
— END OF ARTICLE —
SIGNAL