Estúdio Amazon SageMaker é um ambiente de desenvolvimento totalmente integrado (IDE) para aprendizado de máquina (ML) parcialmente baseado em JupyterLab 3. O Studio fornece uma interface baseada na Web para executar de forma interativa as tarefas de desenvolvimento de ML necessárias para preparar dados e criar, treinar e implantar modelos de ML. No Studio, você pode carregar dados, ajustar modelos de ML, mover-se entre as etapas para ajustar experimentos, comparar resultados e implantar modelos de ML para inferência.
A Kit de desenvolvimento em nuvem da AWS (AWS CDK) é uma estrutura de desenvolvimento de software de código aberto para criar Formação da Nuvem AWS pilhas através do automático Modelo do CloudFormation geração. Uma pilha é uma coleção de recursos da AWS que podem ser atualizados, movidos ou excluídos programaticamente. AWS CDK construções são os blocos de construção dos aplicativos AWS CDK, representando o projeto para definir arquiteturas de nuvem.
A configuração do Studio com o AWS CDK tornou-se um processo simplificado. O AWS CDK permite que você use construções nativas para definir e implantar o Studio usando infraestrutura como código (IaC), incluindo Gerenciamento de acesso e identidade da AWS (AWS IAM) e configurações de recursos de nuvem desejadas, tudo em um só lugar. Essa abordagem de desenvolvimento pode ser usada em combinação com outras práticas recomendadas comuns de engenharia de software, como implantações de código automatizado, testes e Pipelines de CI / CD. O AWS CDK reduz o tempo necessário para executar tarefas típicas de implantação de infraestrutura enquanto reduz a área de superfície para erro humano por meio da automação.
Esta postagem orienta você pelas etapas para começar a configurar e implantar o Studio para padronizar o desenvolvimento do modelo de ML e a colaboração com outros engenheiros e cientistas de ML. Todos os exemplos no post são escritos na linguagem de programação Python. No entanto, o AWS CDK oferece suporte integrado para vários outras linguagens de programação como JavaScript, Java e C#.
Pré-requisitos
Para começar, os seguintes pré-requisitos se aplicam:
Clone o repositório do GitHub
Primeiro vamos clonar que o Repositório GitHub.
Quando o repositório for puxado com sucesso, você pode inspecionar o diretório cdk contendo os seguintes recursos:
- CDK – Contém os principais recursos do cdk
- aplicativo.py – Onde a pilha do AWS CDK é definida
- cdk.json – Contém metadados e sinalizadores de recursos
Scripts de CDK da AWS
Os dois arquivos principais que queremos ver no cdk
subdiretório são sagemaker_studio_construct.py
e sagemaker_studio_stack.py
. Vejamos cada arquivo com mais detalhes.
Arquivo de construção do estúdio
A construção do Studio é definida no sagemaker_studio_construct.py
arquivo.
A construção do Studio leva em nuvem privada virtual (VPC), usuários listados, região da AWS e tipo de instância padrão subjacente como parâmetros. Essa construção do AWS CDK atende às seguintes funções:
- Cria o domínio do Studio (
SageMakerStudioDomain
) - Define a função IAM
sagemaker_studio_execution_role
comAmazonSageMakerFullAccess
permissões necessárias para criar recursos. As permissões precisam ser mais restritas para seguir o princípio de privilégio mínimo para melhorar a segurança. - Define as configurações do aplicativo do servidor Jupyter - leva em
JUPYTER_SERVER_APP_IMAGE_NAME
, definindo a imagem do contêiner jupyter-server-3 a ser usada. - Define as configurações do aplicativo de gateway do kernel - leva em
KERNEL_GATEWAY_APP_IMAGE_NAME
, definindo a imagem do contêiner datascience-2.0 a ser usada. - Cria um perfil de usuário para cada usuário listado
O trecho de código a seguir mostra os recursos relevantes do AWS CloudFormation do domínio do Studio definidos no AWS CDK:
O trecho de código a seguir mostra os perfis de usuário criados a partir dos recursos do AWS CloudFormation:
arquivo de pilha de estúdio
Após a definição da construção, você pode adicioná-la criando uma instância da classe e passando os argumentos necessários dentro da pilha. A pilha cria os recursos do AWS CloudFormation como parte de uma implantação coerente. Isso significa que, se pelo menos um recurso de nuvem não for criado, a pilha do CloudFormation reverterá todas as alterações realizadas. O trecho de código a seguir da construção do Studio é instanciado dentro da pilha do Studio:
Implante a pilha do AWS CDK
Para implantar sua pilha do AWS CDK, execute os seguintes comandos no diretório raiz do projeto na janela do terminal:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Revise os recursos que o AWS CDK cria em sua conta da AWS e selecione sim quando solicitado a implantar a pilha. Aguarde a conclusão da implantação da pilha. Isso normalmente leva menos de 5 minutos; no entanto, adicionar mais recursos prolongará o tempo de implantação. Você também pode verificar o status da implantação no Console AWS CloudFormation.
Quando a pilha tiver sido implantada com sucesso, verifique suas informações acessando o Painel de controle do Studio. Você deve ver o perfil de usuário do SageMaker Studio que criou.
Se você reimplantar a pilha, ela verificará as alterações, realizando apenas as atualizações de recursos de nuvem necessárias. Por exemplo, isso pode ser usado para adicionar usuários ou alterar permissões de esses usuários sem precisar recriar todos os recursos de nuvem definidos.
Limpar
Para excluir uma pilha, conclua as seguintes etapas:
- No console do AWS CloudFormation, escolha Pilhas no painel de navegação.
- Abra a pilha que deseja excluir.
- No painel de detalhes da pilha, escolha Apagar.
- Escolha Excluir pilha quando solicitado.
O AWS CloudFormation excluirá os recursos criados quando a pilha foi implantada. Isso pode levar algum tempo dependendo da quantidade de recursos criados.
Se você encontrar algum problema durante essas etapas de limpeza, talvez seja necessário exclua manualmente o domínio do Studio primeiro antes de repetir as etapas nesta seção.
Conclusão
Nesta postagem, mostramos como usar os recursos IaC nativos da nuvem AWS para criar um modelo facilmente reutilizável para implantações do Studio. O SageMaker Studio é um IDE baseado na Web totalmente integrado que fornece uma interface visual para tarefas de desenvolvimento de ML com base no JupyterLab3. Com as pilhas do AWS CDK, conseguimos definir construções para criar componentes de nuvem que podem ser facilmente modificados, editados ou excluídos fazendo alterações na pilha subjacente do CloudFormation.
Para obter mais informações sobre o Amazon Studio, consulte Estúdio Amazon SageMaker.
Sobre os autores
Cory Hairston é um engenheiro de software no Amazon ML Solutions Lab. Ele é apaixonado por aprender novas tecnologias e aproveitar essas informações para criar soluções de software reutilizáveis. Ele é um ávido levantador de peso e passa seu tempo livre fazendo arte digital.
Marcelo Aberle é engenheiro de ML na organização AWS AI. Ele está liderando os esforços de MLOps no Amazon ML Solutions Lab, ajudando os clientes a projetar e implementar sistemas escalonáveis de ML. Sua missão é orientar os clientes em sua jornada de ML empresarial e acelerar seu caminho de ML para a produção.
Yash Shah é Gerente Científico da Laboratório de soluções de ML da Amazon. Ele e sua equipe de cientistas aplicados e engenheiros de aprendizado de máquina trabalham em uma variedade de casos de uso de aprendizado de máquina de saúde, esportes, automotivo e manufatura.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Capaz
- Sobre
- acelerar
- Acesso
- Conta
- AI
- Todos os Produtos
- permite
- Amazon
- Laboratório de soluções de ML da Amazon
- Amazon Sage Maker
- Estúdio Amazon SageMaker
- quantidade
- e
- app
- aplicações
- aplicado
- Aplicar
- abordagem
- ardente
- ÁREA
- argumentos
- Arte
- Automatizado
- Automação
- automotivo
- AWS
- Formação da Nuvem AWS
- em caminho duplo
- baseado
- tornam-se
- antes
- MELHOR
- melhores práticas
- entre
- Blocos
- Bootstrap
- construir
- Prédio
- construídas em
- casos
- alterar
- Alterações
- verificar
- Escolha
- Na nuvem
- código
- COERENTE
- colaboração
- coleção
- combinação
- comum
- comparar
- completar
- componentes
- cônsul
- construir
- Recipiente
- contém
- ao controle
- painel de controle
- crio
- criado
- cria
- Criar
- criação
- Clientes
- dados,
- Padrão
- definição
- Dependendo
- implantar
- implantado
- Implantação
- desenvolvimento
- Implantações
- Design
- detalhe
- detalhes
- Desenvolvimento
- digital
- Art digitais
- inválido
- domínio
- down
- cada
- facilmente
- esforços
- encontro
- engenheiro
- Engenharia
- Engenheiros
- Empreendimento
- Meio Ambiente
- erro
- Éter (ETH)
- exemplo
- exemplos
- falha
- Característica
- companheiro
- Envie o
- Arquivos
- Primeiro nome
- seguir
- seguinte
- Quadro
- Gratuito
- da
- totalmente
- funções
- mais distante
- porta de entrada
- geração
- ter
- GitHub
- vai
- guia
- Guias
- ter
- saúde
- ajuda
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTML
- HTTPS
- humano
- IAC
- IAM
- Dados de identificação:
- imagem
- executar
- melhorado
- in
- INFORMAÇÕES
- Infraestrutura
- instalar
- instância
- integrado
- Interface
- questões
- IT
- Java
- JavaScript
- viagem
- json
- laboratório
- língua
- principal
- aprendizagem
- aproveitando
- Listado
- carregar
- olhar
- máquina
- aprendizado de máquina
- a Principal
- Fazendo
- Gerente
- fabrica
- significa
- metadados
- minutos
- Missão
- ML
- MLOps
- modelo
- modelos
- modificada
- mais
- mover
- múltiplo
- nativo
- Navegação
- necessário
- você merece...
- Novo
- Novas tecnologias
- Oferece
- ONE
- open source
- Software livre
- organização
- Outros
- pão
- painel
- parâmetros
- parte
- Passagem
- caminho
- realizar
- realização
- permissões
- Lugar
- platão
- Inteligência de Dados Platão
- PlatãoData
- Publique
- práticas
- Preparar
- pré-requisitos
- princípio
- privado
- processo
- Produção
- Perfil
- Perfis
- Programação
- projetos
- fornece
- Python
- alcance
- reduz
- região
- relevante
- repositório
- representando
- requeridos
- Requisitos
- recurso
- Recursos
- Resultados
- reutilizável
- Tipo
- rolos
- raiz
- Execute
- sábio
- escalável
- Ciência
- cientistas
- escopo
- Seção
- segurança
- AUTO
- serve
- conjunto
- contexto
- Configurações
- rede de apoio social
- Shows
- Software
- desenvolvimento de software
- Engenheiro de Software
- Engenharia de software
- Soluções
- alguns
- Esportes
- pilha
- Pilhas
- começado
- Status
- Passos
- simplificada
- estudo
- entraram com sucesso
- tal
- ajuda
- superfície
- .
- sistemas
- Tire
- toma
- tarefas
- Profissionais
- Tecnologias
- modelo
- terminal
- testes
- A
- deles
- Através da
- tempo
- para
- Trem
- típico
- tipicamente
- subjacente
- Atualizada
- Atualizações
- usar
- Utilizador
- usuários
- Virtual
- esperar
- Web-Based
- enquanto
- precisarão
- dentro
- sem
- Atividades:
- escrito
- investimentos
- zefirnet