Amazon SageMakerスタジオ 機械学習 (ML) 用の完全に統合された開発環境 (IDE) であり、部分的に以下に基づいています。 ジュピターラボ 3. Studio は、データを準備し、ML モデルを構築、トレーニング、デプロイするために必要な ML 開発タスクをインタラクティブに実行するための Web ベースのインターフェイスを提供します。 Studio では、データの読み込み、ML モデルの調整、ステップ間の移動による実験の調整、結果の比較、推論のための ML モデルのデプロイを行うことができます。
AWSクラウド開発キット (AWS CDK) は、作成するオープンソースのソフトウェア開発フレームワークです。 AWS CloudFormation スタック 自動で CloudFormation テンプレート 世代。 スタックは、プログラムで更新、移動、または削除できる AWS リソースのコレクションです。 AWS CDK 構成 は AWS CDK アプリケーションの構成要素であり、クラウド アーキテクチャを定義するための青写真を表しています。
AWS CDK を使用した Studio のセットアップは、合理化されたプロセスになりました。 AWS CDK を使用すると、ネイティブ コンストラクトを使用して、Infrastructure as Code (IaC) を使用して Studio を定義およびデプロイできます。 AWS IDおよびアクセス管理 (AWS IAM) アクセス許可と必要なクラウド リソース構成をすべて XNUMX か所で。 この開発アプローチは、自動化されたコードの展開、テスト、テストなど、他の一般的なソフトウェア エンジニアリングのベスト プラクティスと組み合わせて使用できます。 CI / CDパイプライン. AWS CDK は、自動化によって人的エラーの対象領域を縮小しながら、一般的なインフラストラクチャ デプロイ タスクの実行に必要な時間を短縮します。
この投稿では、Studio のセットアップとデプロイを開始して、ML モデルの開発と、仲間の ML エンジニアや ML サイエンティストとのコラボレーションを標準化する手順について説明します。 この投稿のすべての例は、Python プログラミング言語で書かれています。 ただし、AWS CDK は、複数の 他のプログラミング言語 JavaScript、Java、C# など。
前提条件
開始するには、次の前提条件が適用されます。
GitHubリポジトリのクローンを作成します
まずは GitHubリポジトリ.
リポジトリが正常にプルされたら、次のリソースを含む cdk ディレクトリを調べることができます。
- CDK – 主な cdk リソースが含まれています
- app.py – AWS CDK スタックが定義されている場所
- cdk.json – メタデータと機能フラグが含まれています
AWS CDK スクリプト
で確認したい XNUMX つの主要なファイル cdk
サブディレクトリは sagemaker_studio_construct.py
& sagemaker_studio_stack.py
. 各ファイルを詳しく見てみましょう。
Studio 構成ファイル
Studio コンストラクトは、 sagemaker_studio_construct.py
ファイルにソフトウェアを指定する必要があります。
Studio コンストラクトは、 仮想プライベート クラウド (VPC)、リストされたユーザー、AWS リージョン、および基礎となるデフォルトのインスタンス タイプをパラメーターとして。 この AWS CDK コンストラクトは、次の機能を提供します。
- Studio ドメインを作成します (
SageMakerStudioDomain
) - IAM ロールを設定する
sagemaker_studio_execution_role
AmazonSageMakerFullAccess
リソースの作成に必要な権限。 セキュリティを向上させるために、最小権限の原則に従うために、アクセス許可の範囲をさらに絞り込む必要があります。 - Jupyter サーバー アプリの設定を設定します – 取り込みます
JUPYTER_SERVER_APP_IMAGE_NAME
、使用する jupyter-server-3 コンテナー イメージを定義します。 - カーネル ゲートウェイ アプリの設定を設定します – 取り込みます
KERNEL_GATEWAY_APP_IMAGE_NAME
、使用する datascience-2.0 コンテナー イメージを定義します。 - リストされた各ユーザーのユーザー プロファイルを作成します
次のコード スニペットは、AWS CDK で定義された関連する Studio ドメイン AWS CloudFormation リソースを示しています。
次のコード スニペットは、AWS CloudFormation リソースから作成されたユーザー プロファイルを示しています。
Studio スタック ファイル
コンストラクトが定義された後、クラスのインスタンスを作成し、必要な引数をスタック内に渡すことで、コンストラクトを追加できます。 スタックは、AWS CloudFormation リソースを XNUMX つの一貫したデプロイの一部として作成します。 これは、少なくとも XNUMX つのクラウド リソースの作成に失敗した場合、CloudFormation スタックが実行されたすべての変更をロールバックすることを意味します。 次の Studio コンストラクトのコード スニペットは、Studio スタック内でインスタンス化します。
AWS CDK スタックをデプロイする
AWS CDK スタックをデプロイするには、ターミナル ウィンドウ内のプロジェクトのルート ディレクトリから次のコマンドを実行します。
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
AWS CDK が AWS アカウントに作成するリソースを確認し、スタックをデプロイするように求められたら [はい] を選択します。 スタックのデプロイが完了するまで待ちます。 通常、これには 5 分もかかりません。 ただし、リソースを追加すると、展開時間が長くなります。 展開状況は、 AWS CloudFormationコンソール.
スタックが正常にデプロイされたら、Studio コントロール パネルに移動してその情報を確認します。 作成した SageMaker Studio ユーザー プロファイルが表示されます。
スタックを再デプロイすると、変更がチェックされ、必要なクラウド リソースの更新のみが実行されます。 たとえば、これを使用してユーザーを追加したり、権限を変更したりできます これらのユーザーは、定義されたすべてのクラウド リソースを再作成する必要はありません.
掃除
スタックを削除するには、次の手順を実行します。
- AWS CloudFormationコンソールで、 スタック ナビゲーションペインに表示されます。
- 削除するスタックを開きます。
- スタックの詳細ペインで、 削除.
- 選択する スタックを削除 プロンプトが表示されたら
AWS CloudFormation は、スタックがデプロイされたときに作成されたリソースを削除します。 作成されたリソースの量によっては、時間がかかる場合があります。
これらのクリーンアップ手順を実行中に問題が発生した場合は、次のことが必要になる場合があります。 Studio ドメインを手動で削除する このセクションの手順を繰り返す前に。
まとめ
この投稿では、AWS クラウドネイティブの IaC リソースを使用して、Studio デプロイ用の簡単に再利用可能なテンプレートを構築する方法を示しました。 SageMaker Studio は、完全に統合された Web ベースの IDE であり、JupyterLab3 に基づく ML 開発タスク用のビジュアル インターフェイスを提供します。 AWS CDK スタックを使用して、基盤となる CloudFormation スタックに変更を加えることで、簡単に変更、編集、または削除できるクラウド コンポーネントを構築するための構造を定義することができました。
Amazon Studio の詳細については、次を参照してください。 Amazon SageMakerスタジオ.
著者について
コリー・ヘアストン Amazon ML Solutions Lab のソフトウェアエンジニアです。 新しいテクノロジーを学び、その情報を活用して再利用可能なソフトウェア ソリューションを構築することに熱心です。 彼は熱心なパワーリフターであり、自由な時間をデジタル アートの作成に費やしています。
マルセロ・アバーレ AWS AI 組織の ML エンジニアです。 Amazon ML Solutions Lab で MLOps の取り組みを主導し、顧客がスケーラブルな ML システムを設計および実装するのを支援しています。 彼の使命は、エンタープライズ ML ジャーニーで顧客を導き、本番環境への ML パスを加速することです。
ヤシュシャー の科学マネージャーです。 Amazon MLソリューションラボ. 彼と彼の応用科学者と機械学習エンジニアのチームは、ヘルスケア、スポーツ、自動車、製造など、さまざまな機械学習のユースケースに取り組んでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- できる
- 私たちについて
- 加速する
- アクセス
- AI
- すべて
- ことができます
- Amazon
- Amazon MLソリューションラボ
- アマゾンセージメーカー
- Amazon SageMakerスタジオ
- 量
- &
- アプリ
- 適用された
- 申し込む
- アプローチ
- 火の
- AREA
- 引数
- 宝品
- 自動化
- オートメーション
- 自動車
- AWS
- AWS CloudFormation
- バック
- ベース
- になる
- BEST
- ベストプラクティス
- の間に
- ブロック
- ブートストラップ
- ビルド
- 建物
- 内蔵
- 例
- 変化する
- 変更
- チェック
- 選択する
- クラウド
- コード
- コヒーレント
- 環境、テクノロジーを推奨
- コレクション
- 組み合わせ
- コマンドと
- 比較します
- コンプリート
- コンポーネント
- 領事
- 構築する
- コンテナ
- 含まれています
- コントロール
- control panel
- 作ります
- 作成した
- 作成します。
- 作成
- 創造
- Customers
- データ
- デフォルト
- 定義
- によっては
- 展開します
- 展開
- 展開する
- 展開
- 配備
- 設計
- 詳細
- 細部
- 開発
- デジタル
- デジタルアート
- 無効
- ドメイン
- ダウン
- 各
- 簡単に
- 努力
- 出会い
- エンジニア
- エンジニアリング
- エンジニア
- Enterprise
- 環境
- エラー
- エーテル(ETH)
- 例
- 例
- 失敗
- 特徴
- 仲間
- File
- 名
- フォロー中
- フレームワーク
- 無料版
- から
- 完全に
- 機能
- さらに
- ゲートウェイ
- 世代
- 取得する
- GitHubの
- 行く
- ガイド
- ガイド
- 持って
- ヘルスケア
- 助け
- 認定条件
- How To
- しかしながら
- HTML
- HTTPS
- 人間
- IAC
- IAM
- アイデンティティ
- 画像
- 実装する
- 改善されました
- in
- 情報
- インフラ
- install
- 統合された
- インタフェース
- 問題
- IT
- Java
- JavaScriptを
- 旅
- JSON
- ラボ
- 言語
- 主要な
- 学習
- 活用
- リストされた
- 負荷
- 見て
- 機械
- 機械学習
- メイン
- 作成
- マネージャー
- 製造業
- 手段
- 分
- ミッション
- ML
- MLOps
- モデル
- 修正されました
- 他には?
- の試合に
- ネイティブ
- ナビゲーション
- 必要
- 必要
- 新作
- 新技術
- オファー
- ONE
- オープンソース
- オープンソースソフトウェア
- 組織
- その他
- ペイン
- パネル
- パラメータ
- 部
- 通過
- path
- 実行する
- 実行
- パーミッション
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポスト
- プラクティス
- 準備
- 前提条件
- 原則
- プライベート
- プロセス
- 生産
- プロフィール
- 対応プロファイル
- プログラミング
- プロジェクト(実績作品)
- は、大阪で
- Python
- 範囲
- 軽減
- 地域
- 関連した
- 倉庫
- 表します
- の提出が必要です
- 要件
- リソースを追加する。
- リソース
- 結果
- 再利用可能な
- 職種
- ロール
- ルート
- ラン
- セージメーカー
- ド電源のデ
- 科学
- 科学者たち
- スコープ
- セクション
- セキュリティ
- 自己
- 仕える
- セッションに
- 設定
- 設定
- すべき
- 作品
- ソフトウェア
- ソフトウェア開発
- ソフトウェアエンジニア
- ソフトウェア工学
- ソリューション
- 一部
- スポーツ
- スタック
- スタック
- 開始
- Status:
- ステップ
- 合理化された
- 研究
- 首尾よく
- そのような
- サポート
- 表面
- システム
- 取る
- 取り
- タスク
- チーム
- テクノロジー
- template
- ターミナル
- テスト
- アプリ環境に合わせて
- 介して
- 時間
- 〜へ
- トレーニング
- 典型的な
- 一般的に
- 根本的な
- 更新しました
- 更新版
- つかいます
- ユーザー
- users
- バーチャル
- wait
- ウェブベースの
- while
- 意志
- 以内
- 無し
- 仕事
- 書かれた
- あなたの
- ゼファーネット