Xưởng sản xuất Amazon SageMaker là một môi trường phát triển tích hợp đầy đủ (IDE) cho máy học (ML) một phần dựa trên JupyterLab 3. Studio cung cấp giao diện dựa trên web để thực hiện tương tác các tác vụ phát triển ML cần thiết để chuẩn bị dữ liệu cũng như xây dựng, đào tạo và triển khai các mô hình ML. Trong Studio, bạn có thể tải dữ liệu, điều chỉnh mô hình ML, di chuyển giữa các bước để điều chỉnh thử nghiệm, so sánh kết quả và triển khai các mô hình ML để suy luận.
Sản phẩm Bộ công cụ phát triển đám mây AWS (AWS CDK) là một khung phát triển phần mềm mã nguồn mở để tạo Hình thành đám mây AWS ngăn xếp thông qua tự động Mẫu CloudFormation thế hệ. Ngăn xếp là tập hợp các tài nguyên AWS, có thể được cập nhật, di chuyển hoặc xóa theo chương trình. CDK AWS cấu trúc là các khối xây dựng của ứng dụng AWS CDK, đại diện cho kế hoạch chi tiết để xác định kiến trúc đám mây.
Thiết lập Studio với AWS CDK đã trở thành một quy trình hợp lý hóa. AWS CDK cho phép bạn sử dụng các cấu trúc gốc để xác định và triển khai Studio bằng cách sử dụng cơ sở hạ tầng dưới dạng mã (IaC), bao gồm Quản lý truy cập và nhận dạng AWS (AWS IAM) và cấu hình tài nguyên đám mây mong muốn, tất cả ở cùng một nơi. Cách tiếp cận phát triển này có thể được sử dụng kết hợp với các phương pháp hay nhất về công nghệ phần mềm phổ biến khác như triển khai mã tự động, kiểm tra và Đường ống CI / CD. AWS CDK giúp giảm thời gian cần thiết để thực hiện các tác vụ triển khai cơ sở hạ tầng điển hình đồng thời thu hẹp diện tích bề mặt do lỗi của con người thông qua tự động hóa.
Bài đăng này hướng dẫn bạn các bước để bắt đầu thiết lập và triển khai Studio nhằm chuẩn hóa quá trình phát triển mô hình ML và cộng tác với các kỹ sư ML đồng nghiệp cũng như các nhà khoa học ML. Tất cả các ví dụ trong bài đều được viết bằng ngôn ngữ lập trình Python. Tuy nhiên, AWS CDK cung cấp hỗ trợ tích hợp cho nhiều các ngôn ngữ lập trình khác như JavaScript, Java và C#.
Điều kiện tiên quyết
Để bắt đầu, các điều kiện tiên quyết sau được áp dụng:
Sao chép kho lưu trữ GitHub
Đầu tiên, hãy nhân bản các Kho GitHub.
Khi kho lưu trữ được kéo thành công, bạn có thể kiểm tra thư mục cdk chứa các tài nguyên sau:
- cdk – Chứa các tài nguyên cdk chính
- ứng dụng – Nơi AWS CDK stack được xác định
- cdk.json – Chứa siêu dữ liệu và cờ tính năng
Tập lệnh AWS CDK
Hai tệp chính mà chúng tôi muốn xem xét trong cdk
thư mục con là sagemaker_studio_construct.py
và sagemaker_studio_stack.py
. Hãy xem xét từng tệp chi tiết hơn.
Tập tin xây dựng studio
Cấu trúc Studio được xác định trong sagemaker_studio_construct.py
tập tin.
Việc xây dựng Studio có trong đám mây riêng ảo (VPC), người dùng được liệt kê, Khu vực AWS và loại phiên bản mặc định cơ bản làm tham số. Cấu trúc AWS CDK này phục vụ các chức năng sau:
- Tạo miền Studio (
SageMakerStudioDomain
) - Đặt vai trò IAM
sagemaker_studio_execution_role
vớiAmazonSageMakerFullAccess
quyền cần thiết để tạo tài nguyên. Các quyền cần được thu hẹp phạm vi hơn nữa để tuân theo nguyên tắc đặc quyền tối thiểu để tăng cường bảo mật. - Đặt cài đặt ứng dụng máy chủ Jupyter – tiếp nhận
JUPYTER_SERVER_APP_IMAGE_NAME
, xác định hình ảnh vùng chứa jupyter-server-3 sẽ được sử dụng. - Đặt cài đặt ứng dụng cổng nhân - tiếp nhận
KERNEL_GATEWAY_APP_IMAGE_NAME
, xác định hình ảnh vùng chứa datascience-2.0 sẽ được sử dụng. - Tạo hồ sơ người dùng cho từng người dùng được liệt kê
Đoạn mã sau hiển thị tài nguyên AWS CloudFormation của miền Studio có liên quan được xác định trong AWS CDK:
Đoạn mã sau hiển thị hồ sơ người dùng được tạo từ tài nguyên AWS CloudFormation:
Tập tin ngăn xếp phòng thu
Sau khi cấu trúc đã được xác định, bạn có thể thêm nó bằng cách tạo một thể hiện của lớp và chuyển các đối số cần thiết bên trong ngăn xếp. Ngăn xếp tạo tài nguyên AWS CloudFormation như một phần của quá trình triển khai nhất quán. Điều này có nghĩa là nếu ít nhất một tài nguyên đám mây không được tạo, thì ngăn xếp CloudFormation sẽ khôi phục mọi thay đổi đã thực hiện. Đoạn mã sau của cấu trúc Studio khởi tạo bên trong ngăn xếp Studio:
Triển khai ngăn xếp AWS CDK
Để triển khai ngăn xếp CDK AWS của bạn, hãy chạy các lệnh sau từ thư mục gốc của dự án trong cửa sổ đầu cuối của bạn:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Xem lại các tài nguyên mà AWS CDK tạo trong tài khoản AWS của bạn và chọn có khi được nhắc triển khai ngăn xếp. Đợi quá trình triển khai ngăn xếp của bạn kết thúc. Điều này thường mất ít hơn 5 phút; tuy nhiên, thêm nhiều tài nguyên sẽ kéo dài thời gian triển khai. Bạn cũng có thể kiểm tra trạng thái triển khai trên Bảng điều khiển AWS CloudFormation.
Khi ngăn xếp đã được triển khai thành công, hãy kiểm tra thông tin của ngăn xếp đó bằng cách truy cập Bảng điều khiển Studio. Bạn sẽ thấy hồ sơ người dùng SageMaker Studio mà bạn đã tạo.
Nếu bạn triển khai lại ngăn xếp, nó sẽ kiểm tra các thay đổi, chỉ thực hiện các cập nhật tài nguyên đám mây cần thiết. Ví dụ: điều này có thể được sử dụng để thêm người dùng hoặc thay đổi quyền của những người dùng đó mà không phải tạo lại tất cả tài nguyên đám mây đã xác định.
Dọn dẹp
Để xóa ngăn xếp, hãy hoàn thành các bước sau:
- Trên bảng điều khiển AWS CloudFormation, hãy chọn Stacks trong khung điều hướng.
- Mở ngăn xếp bạn muốn xóa.
- Trong ngăn chi tiết ngăn xếp, chọn Xóa bỏ.
- Chọn Xóa ngăn xếp khi được nhắc.
AWS CloudFormation sẽ xóa các tài nguyên được tạo khi triển khai ngăn xếp. Quá trình này có thể mất một chút thời gian tùy thuộc vào lượng tài nguyên được tạo.
Nếu bạn gặp phải bất kỳ sự cố nào khi thực hiện các bước dọn dẹp này, bạn có thể cần phải xóa miền Studio theo cách thủ công đầu tiên trước khi lặp lại các bước trong phần này.
Kết luận
Trong bài đăng này, chúng tôi đã trình bày cách sử dụng các tài nguyên IaC gốc trên đám mây AWS để xây dựng một mẫu có thể tái sử dụng dễ dàng cho việc triển khai Studio. SageMaker Studio là một IDE dựa trên web được tích hợp đầy đủ, cung cấp giao diện trực quan cho các tác vụ phát triển ML dựa trên JupyterLab3. Với ngăn xếp AWS CDK, chúng tôi có thể xác định cấu trúc để xây dựng các thành phần đám mây có thể dễ dàng sửa đổi, chỉnh sửa hoặc xóa bằng cách thực hiện các thay đổi đối với ngăn xếp CloudFormation cơ bản.
Để biết thêm thông tin về Amazon Studio, hãy xem Xưởng sản xuất Amazon SageMaker.
Về các tác giả
Cory Hairston là Kỹ sư phần mềm tại Phòng thí nghiệm giải pháp ML của Amazon. Anh ấy hăng hái học hỏi các công nghệ mới và tận dụng thông tin đó để xây dựng các giải pháp phần mềm có thể tái sử dụng. Anh ấy là một người đam mê nâng cao sức mạnh và dành thời gian rảnh của mình để làm nghệ thuật kỹ thuật số.
Marcelo Aberle là một Kỹ sư ML trong tổ chức AWS AI. Anh ấy đang dẫn dắt các nỗ lực MLOps tại Phòng thí nghiệm giải pháp máy học của Amazon, giúp khách hàng thiết kế và triển khai các hệ thống máy học có thể mở rộng. Nhiệm vụ của anh ấy là hướng dẫn khách hàng trong hành trình ML doanh nghiệp của họ và đẩy nhanh lộ trình ML của họ đến sản xuất.
Yash Shah là Giám đốc Khoa học trong Phòng thí nghiệm giải pháp Amazon ML. Anh ấy và nhóm các nhà khoa học ứng dụng và kỹ sư máy học của mình làm việc trên nhiều trường hợp sử dụng máy học từ chăm sóc sức khỏe, thể thao, ô tô và sản xuất.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Có khả năng
- Giới thiệu
- đẩy nhanh tiến độ
- truy cập
- Tài khoản
- AI
- Tất cả
- cho phép
- đàn bà gan dạ
- Phòng thí nghiệm giải pháp Amazon ML
- Amazon SageMaker
- Xưởng sản xuất Amazon SageMaker
- số lượng
- và
- ứng dụng
- các ứng dụng
- áp dụng
- Đăng Nhập
- phương pháp tiếp cận
- hăng hái
- KHU VỰC
- đối số
- Nghệ thuật
- Tự động
- Tự động hóa
- ô tô
- AWS
- Hình thành đám mây AWS
- trở lại
- dựa
- trở nên
- trước
- BEST
- thực hành tốt nhất
- giữa
- Khối
- bootstrap
- xây dựng
- Xây dựng
- được xây dựng trong
- trường hợp
- thay đổi
- Những thay đổi
- kiểm tra
- Chọn
- đám mây
- mã
- mạch lạc
- hợp tác
- bộ sưu tập
- kết hợp
- Chung
- so sánh
- hoàn thành
- các thành phần
- An ủi
- xây dựng
- Container
- chứa
- điều khiển
- bảng điều khiển
- tạo
- tạo ra
- tạo ra
- Tạo
- tạo
- khách hàng
- dữ liệu
- Mặc định
- xác định
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- triển khai
- Thiết kế
- chi tiết
- chi tiết
- Phát triển
- kỹ thuật số
- Nghệ thuật kỹ thuật số
- bị vô hiệu hóa
- miền
- xuống
- mỗi
- dễ dàng
- những nỗ lực
- gặp gỡ
- ky sư
- Kỹ Sư
- Kỹ sư
- Doanh nghiệp
- Môi trường
- lôi
- Ether (ETH)
- ví dụ
- ví dụ
- không
- Đặc tính
- đồng bào
- Tập tin
- Các tập tin
- Tên
- theo
- tiếp theo
- Khung
- Miễn phí
- từ
- đầy đủ
- chức năng
- xa hơn
- cửa ngõ
- thế hệ
- được
- GitHub
- đi
- hướng dẫn
- Hướng dẫn
- có
- chăm sóc sức khỏe
- giúp đỡ
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- Nhân loại
- IAC
- IAM
- Bản sắc
- hình ảnh
- thực hiện
- cải thiện
- in
- thông tin
- Cơ sở hạ tầng
- cài đặt, dựng lên
- ví dụ
- tích hợp
- Giao thức
- các vấn đề
- IT
- Java
- JavaScript
- cuộc hành trình
- json
- phòng thí nghiệm
- Ngôn ngữ
- hàng đầu
- học tập
- tận dụng
- Liệt kê
- tải
- Xem
- máy
- học máy
- Chủ yếu
- Làm
- giám đốc
- sản xuất
- có nghĩa
- Siêu dữ liệu
- phút
- Sứ mệnh
- ML
- MLOps
- kiểu mẫu
- mô hình
- sửa đổi
- chi tiết
- di chuyển
- nhiều
- tự nhiên
- THÔNG TIN
- cần thiết
- Cần
- Mới
- Công nghệ mới
- Cung cấp
- ONE
- mã nguồn mở
- Phần mềm mã nguồn mở
- cơ quan
- Nền tảng khác
- cửa sổ
- bảng điều khiển
- thông số
- một phần
- Đi qua
- con đường
- thực hiện
- biểu diễn
- quyền
- Nơi
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Bài đăng
- thực hành
- Chuẩn bị
- điều kiện tiên quyết
- nguyên tắc
- riêng
- quá trình
- Sản lượng
- Hồ sơ
- Profiles
- Lập trình
- dự án
- cung cấp
- Python
- phạm vi
- làm giảm
- khu
- có liên quan
- kho
- đại diện
- cần phải
- Yêu cầu
- tài nguyên
- Thông tin
- Kết quả
- có thể tái sử dụng
- Vai trò
- dạng cuộn
- nguồn gốc
- chạy
- nhà làm hiền triết
- khả năng mở rộng
- Khoa học
- các nhà khoa học
- phạm vi
- Phần
- an ninh
- TỰ
- phục vụ
- định
- thiết lập
- thiết lập
- nên
- Chương trình
- Phần mềm
- phát triển phần mềm
- Kỹ sư phần mềm
- kỹ thuật phần mềm
- Giải pháp
- một số
- Thể thao
- ngăn xếp
- Stacks
- bắt đầu
- Trạng thái
- Các bước
- sắp xếp hợp lý
- phòng thu
- Thành công
- như vậy
- hỗ trợ
- Bề mặt
- hệ thống
- hệ thống
- Hãy
- mất
- nhiệm vụ
- nhóm
- Công nghệ
- mẫu
- Thiết bị đầu cuối
- kiểm tra
- Sản phẩm
- cung cấp their dịch
- Thông qua
- thời gian
- đến
- Train
- điển hình
- thường
- cơ bản
- cập nhật
- Cập nhật
- sử dụng
- người sử dang
- Người sử dụng
- ảo
- chờ đợi
- Dựa trên web
- trong khi
- sẽ
- ở trong
- không có
- Công việc
- viết
- trên màn hình
- zephyrnet