Jupyter 노트북은 대화식으로 데이터를 처리하고, ML 모델을 구축하고, 데이터에 대한 추론을 통해 이러한 모델을 테스트하는 기능으로 인해 데이터 과학자들에게 매우 선호됩니다. 그러나 데이터 과학자가 노트북의 대화형 개발에서 일괄 작업으로 전환하는 것을 선호할 수 있는 시나리오가 있습니다. 이러한 사용 사례의 예로는 작은 노트북 인스턴스의 작은 샘플 데이터 세트에서 이전에 테스트된 기능 엔지니어링 작업의 확장, 비즈니스 메트릭에 대한 통찰력을 얻기 위해 야간 보고서 실행, 새 데이터를 사용할 수 있을 때 일정에 따라 ML 모델 재교육이 있습니다.
노트북의 대화형 개발에서 배치 작업으로 마이그레이션하려면 노트북의 코드 스니펫을 스크립트로 복사하고 모든 종속성과 함께 스크립트를 컨테이너로 패키징하고 컨테이너 실행을 예약해야 했습니다. 일정에 따라 이 작업을 반복적으로 실행하려면 배포를 자동화하기 위해 클라우드 인프라를 설정, 구성 및 감독해야 했기 때문에 핵심 데이터 과학 개발 활동에서 귀중한 시간을 할애할 수 있었습니다.
2022년 XNUMX월에 대화형 노트북에서 일괄 작업으로 전환하는 프로세스를 간소화하기 위해 아마존 세이지 메이커 스튜디오 와 스튜디오 랩 노트북 기반 워크플로를 사용하여 노트북을 예약된 작업으로 실행하는 기능을 도입했습니다. 이제 동일한 기능을 사용하여 다음과 같은 모든 JupyterLab 환경에서 Jupyter 노트북을 실행할 수 있습니다. 아마존 세이지 메이커 로컬 시스템에서 실행되는 노트북 인스턴스 및 JupyterLab. SageMaker는 모든 JupyterLab 환경에 설치할 수 있고 일정에 따라 임시 작업으로 노트북을 실행하는 데 사용할 수 있는 오픈 소스 확장을 제공합니다.
이 게시물에서는 SageMaker에서 예약된 노트북 작업으로 로컬 JupyterLab 환경에서 노트북을 실행하는 방법을 보여줍니다.
솔루션 개요
모든 JupyterLab 환경에서 노트북 작업을 예약하기 위한 솔루션 아키텍처는 다음 다이어그램에 나와 있습니다. SageMaker 확장은 JupyterLab 환경에 노트북 작업을 예약할 수 있는 유효한 AWS 자격 증명 및 권한이 있을 것으로 예상합니다. 자격 증명을 설정하는 단계에 대해 논의하고 AWS 자격 증명 및 액세스 관리 (IAM) 권한은 이 게시물의 뒷부분에 있습니다. 작업을 예약하는 IAM 사용자 및 수임된 역할 세션 외에도 데이터에 액세스하기 위해 수임할 노트북 작업 인스턴스에 대한 역할도 제공해야 합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 또는 연결 아마존 EMR 필요에 따라 클러스터.
다음 섹션에서는 아키텍처를 설정하고 오픈 소스 확장을 설치하고 기본 구성으로 노트북을 실행하고 고급 매개 변수를 사용하여 사용자 지정 설정으로 노트북을 실행하는 방법을 보여줍니다.
사전 조건
이 게시물에서는 로컬로 호스팅되는 JupyterLab 환경을 가정합니다. 클라우드에서 호스팅되는 환경에 대해서도 동일한 설치 단계를 따를 수 있습니다.
다음 단계에서는 이미 유효한 Python 3 및 JupyterLab 환경이 있다고 가정합니다(이 확장은 JupyterLab v3.0 이상에서 작동함).
설치 AWS 명령 줄 인터페이스 (AWS CLI) 아직 설치하지 않은 경우. 보다 최신 버전의 AWS CLI 설치 또는 업데이트 지시 사항은
IAM 자격 증명 설정
SageMaker 노트북 작업을 제출하려면 IAM 사용자 또는 활성 IAM 역할 세션이 필요합니다. IAM 자격 증명을 설정하려면 IAM 사용자의 AWS 자격 증명으로 AWS CLI를 구성하거나 IAM 역할을 맡을 수 있습니다. 자격 증명 설정에 대한 지침은 다음을 참조하세요. AWS CLI 구성. IAM 보안 주체(사용자 또는 위임된 역할)는 노트북 작업을 예약하기 위해 다음 권한이 필요합니다. 보안 주체에 정책을 추가하려면 다음을 참조하십시오. IAM 자격 증명 권한 추가.
노트북 작업을 고객 관리로 암호화해야 하는 경우 AWS 키 관리 서비스 (AWS KMS) 키, AWS KMS 액세스도 허용하는 정책 설명을 추가합니다. 샘플 정책은 다음을 참조하세요. 로컬 Jupyter 환경에 대한 정책 및 권한 설치.
노트북 작업 인스턴스에 대한 IAM 역할 설정
노트북 작업 실행과 같이 사용자 대신 작업을 실행하려면 SageMaker에 IAM 역할이 필요합니다. 이 역할은 Amazon S3의 데이터에 대한 액세스와 같이 노트북이 작업을 완료하는 데 필요한 리소스에 대한 액세스 권한이 있어야 합니다.
스케줄러 확장은 접두사를 사용하여 AWS 계정에서 IAM 역할을 자동으로 찾습니다. SagemakerJupyterScheduler
노트북 작업을 실행합니다.
IAM 역할을 생성하려면 실행 역할 생성 Amazon SageMaker의 경우 AmazonSageMakerFullAccess
정책. 역할 이름 지정 SagemakerJupyterSchedulerDemo
, 또는 예상되는 접두사가 포함된 이름을 제공하십시오.
역할이 생성된 후 신뢰 관계 탭에서 신뢰 정책 수정. 기존 신뢰 정책을 다음으로 바꿉니다.
XNUMXD덴탈의 AmazonSageMakerFullAccess
정책은 상당히 관대하며 일반적으로 SageMaker를 실험하고 시작하는 데 선호됩니다. IAM의 보안 모범 사례에 따라 향후 워크로드에 대한 최소 범위 정책을 생성하는 것이 좋습니다. 노트북 작업에 필요한 최소 권한 집합은 다음을 참조하세요. 로컬 Jupyter 환경에 대한 정책 및 권한을 설치합니다.
확장 설치
로컬 컴퓨터에서 터미널을 열고 다음 명령을 실행하여 확장 프로그램을 설치합니다.
이 명령을 실행한 후 jupyter lab을 실행하여 JupyterLab을 시작할 수 있습니다.
JupyterLab 터미널 내에서 확장을 설치하는 경우 Jupyter 서버를 다시 시작하여 확장을 로드합니다. 다음을 선택하여 Jupyter 서버를 다시 시작할 수 있습니다. 종료 를 시청하여 이에 대해 더 많은 정보를 얻을 수 있습니다. 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 JupyterLab에서 메뉴를 열고 다음을 실행하여 명령줄에서 JupyterLab을 시작합니다. jupyter lab
.
노트북 작업 제출
확장이 환경에 설치된 후 독립형 노트북을 임시 작업으로 실행할 수 있습니다. 예약된 작업으로 실행할 간단한 "Hello world" 노트북을 제출해 보겠습니다.
- 에 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 메뉴, 선택 신제품 와 수첩.
- 다음 내용을 입력합니다.
확장 프로그램이 성공적으로 설치되면 노트북에 노트북 일정 아이콘이 표시됩니다.
- 아이콘을 선택하여 노트북 작업을 생성합니다.
또는 파일 탐색기에서 노트북을 마우스 오른쪽 버튼으로 클릭하고 노트북 작업 만들기.
- 작업 이름, 입력 파일, 컴퓨팅 유형 및 추가 매개변수를 제공하십시오.
- 나머지 설정은 기본값으로 두고 다음을 선택합니다. 만듭니다.
작업이 예약되면 다음으로 리디렉션됩니다. 노트북 작업 여기에서 노트북 작업 목록과 해당 상태를 볼 수 있고 작업이 완료된 후 노트북 출력 및 로그를 볼 수 있습니다. 다음 스크린샷과 같이 Launcher에서 이 노트북 작업 창에 액세스할 수도 있습니다.
고급 구성
로컬 컴퓨팅에서 노트북은 Boto3.8 및 AWS CLI가 포함된 Docker Hub의 공식 Python 3 이미지인 SageMaker Base Python 이미지에서 자동으로 실행됩니다. 실제 사례에서 데이터 과학자는 노트북용 특정 패키지 또는 프레임워크를 설치해야 합니다. 재현 가능한 환경을 만드는 방법에는 세 가지가 있습니다.
- 가장 간단한 옵션으로 패키지와 프레임워크를 노트북의 첫 번째 셀에 직접 설치할 수 있습니다.
- 다음에서 초기화 스크립트를 제공할 수도 있습니다. 추가 옵션 섹션에서 노트북이 시작될 때 노트북 작업에 의해 실행되는 로컬 스토리지의 bash 스크립트를 가리킵니다. 다음 섹션에서는 초기화 스크립트를 사용하여 패키지를 설치하는 예를 보여줍니다.
- 마지막으로 실행 환경을 구성할 때 최대한의 유연성을 원하는 경우 Python3 커널을 사용하여 사용자 지정 이미지를 빌드하고 이미지를 다음으로 푸시할 수 있습니다. Amazon Elastic Container Registry (Amazon ECR) 아래에서 노트북 작업에 ECR 이미지 URI를 제공합니다. 추가 옵션. ECR 이미지는 에 나열된 SageMaker 이미지 요구 사항을 따라야 합니다. 사용자 지정 SageMaker 이미지 사양.
또한 기업은 작업에 대한 사용자 지정 최소 권한 역할을 사용하고 암호화를 적용하여 Amazon VPC 내에서 인터넷 프리 모드로 작업을 실행하는 것과 같은 가드레일을 설정할 수 있습니다. 다음에서 노트북 작업에 대해 이러한 구성을 지정할 수 있습니다. 추가 옵션 섹션도. 고급 구성의 자세한 목록은 다음을 참조하세요. 추가 옵션.
초기화 스크립트 추가
초기화 스크립트를 보여주기 위해 이제 다음에서 사용할 수 있는 Studio 노트북 작업에 대한 샘플 노트북을 실행합니다. GitHub의. 이 노트북을 실행하려면 초기화 스크립트를 통해 필요한 패키지를 설치해야 합니다. 다음 단계를 완료하십시오.
- JupyterLab 터미널에서 다음 명령을 실행하여 파일을 다운로드합니다.
- 에 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 메뉴, 선택 신제품 와 텍스트 파일.
- 파일에 다음 내용을 입력하고 이름으로 파일을 저장합니다.
init-script.sh
: - 왼쪽 메뉴에서
scheduled-example.ipynb
파일 탐색기에서 노트북을 엽니다. - 노트북 작업 아이콘을 선택하여 노트북을 예약하고 추가 옵션 안내
- 럭셔리 초기화 스크립트 위치, 스크립트의 전체 경로를 입력하십시오.
선택적으로 노트북 작업에 대한 입력 및 출력 S3 폴더를 사용자 지정할 수도 있습니다. SageMaker는 입력 파일을 저장하기 위해 지정된 S3 위치에 입력 폴더를 생성하고 노트북 출력이 저장되는 출력 S3 폴더를 생성합니다. 여기에서 암호화, IAM 역할 및 VPC 구성을 지정할 수 있습니다. 보다 제약 및 고려 사항 커스텀 이미지 및 VPC 사양용.
- 지금은 초기화 스크립트를 업데이트하기만 하면 됩니다. 지금 실행 일정을 선택하고 만들기.
작업이 완료되면 아래에서 출력 및 출력 로그가 포함된 노트북을 볼 수 있습니다. 출력 파일, 다음 스크린샷과 같이. 출력 로그에서 노트북을 실행하기 전에 실행 중인 초기화 스크립트를 볼 수 있어야 합니다.
노트북 작업 환경을 추가로 사용자 지정하려면 사용자 지정 이미지의 ECR URI를 지정하여 자체 이미지를 사용할 수 있습니다. 자체 이미지를 가져오는 경우 이미지를 빌드할 때 Python3 커널을 설치해야 합니다. TensorFlow를 사용하여 노트북을 실행할 수 있는 샘플 Dockerfile은 다음 코드를 참조하세요.
결론
이 게시물에서는 SageMaker Jupyter 스케줄러 확장을 사용하여 SageMaker 교육 작업으로 로컬에서 호스팅되는 모든 JupyterLab 환경에서 노트북을 실행하는 방법을 보여주었습니다. 일정에 따라 헤드리스 방식으로 노트북을 실행할 수 있으면 노트북을 Python 스크립트로 리팩터링하고 아마존 이벤트 브리지 이벤트 트리거 및 생성 AWS 람다 함수 또는 SageMaker 파이프라인을 사용하여 교육 작업을 시작합니다. SageMaker 노트북 작업은 주문형으로 실행되므로 노트북이 실행된 시간에 대해서만 비용을 지불하고 노트북 작업 확장을 사용하여 JupyterLab 환경에서 언제든지 노트북 출력을 볼 수 있습니다. 예약된 노트북 작업을 시도하고 다음과 연결하는 것이 좋습니다. re:Post의 기계 학습 및 AI 커뮤니티 피드백을 위해!
저자 소개
바드리나트 파니 Amazon Web Services의 소프트웨어 개발 엔지니어로 Amazon SageMaker 대화형 ML 제품 작업을 하고 있으며 자동차, IoT, AR/VR 및 컴퓨터 비전과 같은 도메인에서 12년 이상의 소프트웨어 개발 경험을 가지고 있습니다. 현재 그는 데이터 과학자의 경험을 단순화하기 위한 기계 학습 도구를 개발하는 데 주력하고 있습니다. 여가 시간에는 가족과 함께 시간을 보내고 태평양 북서부의 아름다움을 탐험하는 것을 즐깁니다.
두르가 수리 Amazon SageMaker Service SA 팀의 ML 솔루션 아키텍트입니다. 그녀는 모든 사람이 기계 학습에 접근할 수 있도록 만드는 데 열정적입니다. AWS에서 4년 동안 그녀는 기업 고객을 위한 AI/ML 플랫폼 설정을 도왔습니다. 그녀는 일하지 않을 때 오토바이 타기, 미스터리 소설, 5살짜리 허스키와 함께 하는 긴 산책을 좋아합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/schedule-your-notebooks-from-any-jupyterlab-environment-using-the-amazon-sagemaker-jupyterlab-extension/
- :있다
- :이다
- :어디
- $UP
- 100
- 12
- 202
- 2022
- 7
- 77
- 8
- a
- 능력
- 할 수 있는
- 소개
- ACCESS
- 데이터에 액세스
- 얻기 쉬운
- 일치
- 계정
- 달성
- 가로질러
- 동작
- 활동적인
- 방과 후 액티비티
- 더하다
- 또한
- 추가
- 많은
- 후
- AI
- AI / ML
- 겨냥한
- All
- 수
- 허용
- 이미
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon Web Services
- an
- 와
- 어떤
- AR / VR
- 아키텍처
- 있군요
- AS
- 꾸민
- At
- 자동화
- 자동적으로
- 자동차
- 가능
- 떨어져
- AWS
- 기지
- 세게 때리다
- BE
- 뷰티
- 된다
- 전에
- 존재
- BEST
- 모범 사례
- 블록
- 가져
- 빌드
- 건물
- 사업
- by
- CAN
- 가지 경우
- 왼쪽 메뉴에서
- 선택
- 클라우드
- 클라우드 인프라
- 암호
- COM
- 커뮤니티
- 완전한
- 계산
- 컴퓨터
- 컴퓨터 비전
- 조건
- 구성
- 연결하기
- 컨테이너
- 내용
- 핵심
- 만들
- 만든
- 생성
- 만들기
- 신임장
- 현재
- 관습
- 고객
- 고객
- 사용자 정의
- 데이터
- 데이터 과학
- XNUMX월
- 태만
- 수요
- 배포
- 상세한
- 개발
- 개발
- 직접
- 토론
- 디스플레이
- 전환
- 도커
- 도메인
- 말라
- 아래 (down)
- 다운로드
- 효과
- 격려
- 암호화
- 암호화
- 시행
- 기사
- 엔지니어링
- 확인
- 엔터 버튼
- Enterprise
- 기업 고객
- 환경
- 환경
- 에테르 (ETH)
- 이벤트
- 이벤트
- 사람
- 예
- 예
- 실행
- 현존하는
- 펼치기
- 기대하는
- ~을 기대하는
- 경험
- 탐색기
- 탐색
- 확장자
- 꽤
- 가족
- 특색
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 먼저,
- 유연성
- 초점
- 따라
- 수행원
- 럭셔리
- 프레임 워크
- 무료
- 에
- 가득 찬
- 기능
- 추가
- 미래
- 이득
- 일반적으로
- 점점
- 매우
- 했다
- 있다
- he
- 무거운
- 무거운 리프팅
- 도움
- 도움
- 그녀의
- 여기에서 지금 확인해 보세요.
- 더 높은
- 고도로
- 그의
- 호스팅
- 방법
- How To
- 그러나
- HTML
- HTTP
- HTTPS
- 허브
- IAM
- ICON
- 통합 인증
- if
- 영상
- 형상
- import
- in
- 포함
- 포함
- 인프라
- 입력
- 통찰력
- 설치
- 설치
- 설치
- 설치
- 예
- 명령
- 대화형
- 으로
- 소개
- IOT
- IT
- 그
- 일
- 작업
- 키
- 키
- 실험실
- 후에
- 최근
- 배우기
- 리프팅
- 처럼
- 라인
- 명부
- 상장 된
- 하중
- 지방의
- 장소 상에서
- 위치
- 기록
- 긴
- 봐라.
- loves
- 기계
- 기계 학습
- 본관
- 유튜브 영상을 만드는 것은
- 관리
- 구축
- 태도
- 매트플롯립
- 최고
- XNUMX월..
- 메뉴
- 통계
- 수도
- 최저한의
- ML
- 모드
- 모델
- 모터사이클
- 움직이는
- 신비
- name
- 필요
- 필요
- 요구
- 신제품
- 수첩
- 노트북
- 지금
- numpy
- of
- 공무원
- on
- 만
- 열 수
- 오픈 소스
- 선택권
- or
- 출력
- 위에
- 감독하다
- 자신의
- 태평양
- 꾸러미
- 패키지
- 팬더
- 매개 변수
- 열렬한
- 통로
- 지불
- 권한
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 정책
- 정책
- 게시하다
- 사례
- 취하다
- 선호하는
- 이전에
- 교장
- 방법
- 제품
- 제공
- 제공
- 푸시
- Python
- RE
- 현실 세계
- 감소
- 관계
- 나머지
- 자꾸
- 교체
- 보고서
- 필수
- 요구조건 니즈
- 필요
- 의지
- 자료
- 결과
- 재교육
- 마우스 오른쪽 단추로 클릭
- 직위별
- 역할
- 달리기
- 달리는
- 실행
- SA
- 현자
- SageMaker 파이프 라인
- 같은
- 샘플 데이터세트
- 찜하기
- 스케일링
- 시나리오
- 예정
- 예약
- 예약된 작업
- 일정
- 과학
- 과학자
- 스크립트
- 검색
- 섹션
- 섹션
- 보안
- 참조
- 서비스
- 서비스
- 세션
- 세트
- 설정
- 설정
- 그녀
- 영상을
- 표시
- 소개
- 보여
- 표시
- 단순, 간단, 편리
- 단순화
- 단순화
- 간단히
- 작은
- So
- 소프트웨어
- 소프트웨어 개발
- 해결책
- 솔루션
- 구체적인
- 명세서
- 지정
- 지출
- 스타트
- 시작
- 시작 중
- 시작
- 성명서
- Status
- 단계
- 저장
- 저장
- 저장
- 강하게
- 스튜디오
- 제출
- 성공적으로
- 이러한
- 팀
- 텐서 흐름
- 단말기
- test
- 그
- XNUMXD덴탈의
- 그들의
- 그곳에.
- Bowman의
- 이
- 세
- 을 통하여
- 시간
- 에
- 검색을
- 트레이닝
- 전이
- 참된
- 믿어
- 시도
- 유형
- 아래에
- 업데이트
- 업데이트
- URI
- 사용
- 익숙한
- 사용자
- 사용
- 가치 있는
- 버전
- 관측
- 시력
- 필요
- 였다
- 방법
- we
- 웹
- 웹 서비스
- 잘
- 언제
- 어느
- 과
- 이내
- 워크 플로우
- 일하는
- 일
- 년
- 당신
- 너의
- 제퍼 넷