Amazon RedShift là kho dữ liệu được sử dụng rộng rãi nhất trên đám mây, phù hợp nhất để phân tích hàng exabyte dữ liệu và chạy các truy vấn phân tích phức tạp. Amazon QuickSight là một dịch vụ phân tích kinh doanh nhanh chóng để xây dựng trực quan hóa, thực hiện phân tích đặc biệt và nhanh chóng nhận được thông tin chuyên sâu về kinh doanh từ dữ liệu của bạn. QuickSight cung cấp khả năng tích hợp dễ dàng với Amazon Redshift, cung cấp quyền truy cập gốc vào tất cả dữ liệu của bạn và cho phép các tổ chức mở rộng khả năng phân tích kinh doanh của họ tới hàng trăm nghìn người dùng. QuickSight mang lại hiệu suất truy vấn nhanh và nhạy bằng cách sử dụng công cụ trong bộ nhớ mạnh mẽ (SPICE).
Là quản trị viên QuickSight, bạn có thể sử dụng Hình thành đám mây AWS các mẫu để di chuyển nội dung giữa các môi trường riêng biệt từ phát triển, thử nghiệm đến sản xuất. AWS CloudFormation giúp bạn lập mô hình và thiết lập tài nguyên AWS để bạn có thể tốn ít thời gian hơn cho việc quản lý các tài nguyên đó và có nhiều thời gian hơn để tập trung vào các ứng dụng chạy trong AWS. Bạn không cần phải tạo nguồn dữ liệu hoặc phân tích theo cách thủ công nữa. Bạn tạo một mẫu mô tả tất cả các tài nguyên AWS mà bạn muốn và AWS CloudFormation sẽ đảm nhận việc cung cấp và định cấu hình các tài nguyên đó cho bạn. Ngoài ra, với việc lập phiên bản, bạn có các tài sản trước đây của mình, điều này mang lại sự linh hoạt để khôi phục các triển khai nếu có nhu cầu. Để biết thêm chi tiết, hãy tham khảo Tham chiếu loại tài nguyên Amazon QuickSight.
Trong bài đăng này, chúng tôi trình bày cách tự động hóa việc triển khai phân tích QuickSight kết nối với kho dữ liệu Amazon Redshift bằng mẫu CloudFormation.
Tổng quan về giải pháp
Giải pháp của chúng tôi bao gồm các bước sau:
- Tạo phân tích QuickSight bằng nguồn dữ liệu Amazon Redshift.
- Tạo mẫu QuickSight cho phân tích của bạn.
- Tạo mẫu CloudFormation cho phân tích của bạn bằng cách sử dụng Giao diện dòng lệnh AWS (AWS CLI).
- Sử dụng mẫu CloudFormation đã tạo để triển khai phân tích QuickSight cho môi trường đích.
Sơ đồ sau đây cho thấy kiến trúc về cách bạn có thể có nhiều tài khoản AWS, mỗi tài khoản có môi trường QuickSight riêng được kết nối với nguồn dữ liệu Amazon Redshift của chính tài khoản đó. Trong bài đăng này, chúng tôi phác thảo các bước liên quan đến việc di chuyển nội dung QuickSight trong tài khoản nhà phát triển sang tài khoản nhà sản xuất. Đối với bài đăng này, chúng tôi sử dụng Amazon Redshift làm nguồn dữ liệu và tạo trực quan hóa QuickSight bằng cơ sở dữ liệu TICKIT mẫu của Amazon Redshift.
Sơ đồ sau đây minh họa dòng chảy của các bước cấp cao.
Điều kiện tiên quyết
Trước khi thiết lập ngăn xếp CloudFormation, bạn phải có tài khoản AWS và Quản lý truy cập và nhận dạng AWS (IAM) người dùng có đủ quyền để tương tác với Bảng điều khiển quản lý AWS và các dịch vụ được liệt kê trong kiến trúc.
Việc di chuyển yêu cầu các điều kiện tiên quyết sau:
Tạo phân tích QuickSight trong môi trường nhà phát triển của bạn
Trong phần này, chúng tôi sẽ hướng dẫn các bước để thiết lập phân tích QuickSight của bạn bằng cách sử dụng nguồn dữ liệu Amazon Redshift.
Tạo nguồn dữ liệu Amazon Redshift
Để kết nối với kho dữ liệu Amazon Redshift của bạn, bạn cần tạo nguồn dữ liệu trong QuickSight. Như thể hiện trong ảnh chụp màn hình sau, bạn có hai tùy chọn:
- Tự động phát hiện
- kết nối thủ công
QuickSight tự động phát hiện Các cụm Amazon Redshift được liên kết với tài khoản AWS của bạn. Các tài nguyên này phải nằm trong cùng Khu vực với tài khoản QuickSight của bạn.
Để biết thêm chi tiết, hãy tham khảo Cấp phép kết nối từ cụm Amazon QuickSight đến cụm Amazon Redshift.
Bạn cũng có thể kết nối và tạo nguồn dữ liệu theo cách thủ công.
Tạo bộ dữ liệu Amazon Redshift
Bước tiếp theo là tạo tập dữ liệu QuickSight, xác định dữ liệu cụ thể trong nguồn dữ liệu bạn muốn sử dụng.
Đối với bài đăng này, chúng tôi sử dụng cơ sở dữ liệu TICKIT được tạo trong kho dữ liệu Amazon Redshift, bao gồm bảy bảng: hai bảng thực tế và năm thứ nguyên, như thể hiện trong hình dưới đây.
Ứng dụng cơ sở dữ liệu mẫu này giúp các nhà phân tích theo dõi hoạt động bán hàng cho trang web TICKIT hư cấu, nơi người dùng mua và bán vé trực tuyến cho các sự kiện thể thao, chương trình và buổi hòa nhạc.
- trên Bộ dữ liệu trang, chọn Tập dữ liệu mới.
- Chọn nguồn dữ liệu bạn đã tạo ở bước trước.
- Chọn Sử dụng SQL tùy chỉnh.
- Nhập SQL tùy chỉnh như trong ảnh chụp màn hình sau.
Ảnh chụp màn hình sau đây hiển thị nguồn dữ liệu đã hoàn thành của chúng tôi.
Tạo phân tích QuickSight
Bước tiếp theo là tạo một phân tích sử dụng bộ dữ liệu này. Trong QuickSight, bạn phân tích và trực quan hóa dữ liệu của mình trong các bản phân tích. Khi hoàn tất, bạn có thể xuất bản phân tích của mình dưới dạng trang tổng quan để chia sẻ với những người khác trong tổ chức của mình.
- trên Tất cả các phân tích của trang bắt đầu QuickSight, hãy chọn Phân tích mới.
Sản phẩm Bộ dữ liệu mở trang.
- Chọn một tập dữ liệu, sau đó chọn Sử dụng trong phân tích.
- Tạo một hình ảnh. Để biết thêm thông tin về cách tạo hình ảnh, hãy xem Thêm hình ảnh vào phân tích Amazon QuickSight.
Tạo mẫu QuickSight từ phân tích của bạn
Mẫu QuickSight là một đối tượng được đặt tên trong tài khoản AWS của bạn, chứa định nghĩa về phân tích của bạn và các tham chiếu đến bộ dữ liệu được sử dụng. Bạn có thể tạo mẫu bằng API QuickSight bằng cách cung cấp thông tin chi tiết về phân tích nguồn thông qua tệp tham số. Bạn có thể sử dụng các mẫu để dễ dàng tạo một phân tích mới.
Bạn có thể sử dụng AWS Cloud9 từ bảng điều khiển để chạy các lệnh AWS CLI.
Lệnh AWS CLI sau minh họa cách tạo mẫu QuickSight dựa trên phân tích bán hàng mà bạn đã tạo (cung cấp ID tài khoản AWS cho tài khoản nhà phát triển của bạn):
Sản phẩm parameter.json
tệp chứa các chi tiết sau (cung cấp ARN người dùng QuickSight nguồn của bạn, ARN phân tích và ARN tập dữ liệu):
Bạn có thể sử dụng AWS CLI người dùng mô tả, description_analysisvà description_dataset các lệnh để lấy các ARN cần thiết.
Để tải lên bản cập nhật parameter.json
tệp lên AWS Cloud9, chọn Tập tin từ thanh công cụ và chọn Tải lên tệp cục bộ.
Mẫu QuickSight được tạo trong nền. Các mẫu QuickSight không hiển thị trong Giao diện người dùng QuickSight; chúng là tài sản do nhà phát triển quản lý hoặc quản trị viên quản lý và chỉ có thể truy cập thông qua AWS CLI hoặc API.
Để kiểm tra trạng thái của mẫu, hãy chạy lệnh describe-template
chỉ huy:
Đoạn mã sau hiển thị đầu ra lệnh:
Sao chép khuôn mẫu ARN; chúng tôi cần nó sau này để tạo một mẫu trong tài khoản sản xuất.
Các quyền đối với mẫu QuickSight trong tài khoản nhà phát triển cần được cập nhật để cấp quyền truy cập vào tài khoản nhà sản xuất. Chạy lệnh sau để cập nhật mẫu QuickSight. Điều này cung cấp đặc quyền mô tả cho tài khoản đích để trích xuất chi tiết của mẫu từ tài khoản nguồn:
Tập tin TemplatePermission.json
chứa các chi tiết sau (cung cấp ID tài khoản AWS mục tiêu của bạn):
Để tải lên bản cập nhật TemplatePermission.json
tệp lên AWS Cloud9, hãy chọn Tập tin menu từ thanh công cụ và chọn Tải lên tệp cục bộ.
Tạo mẫu CloudFormation
Trong phần này, chúng tôi tạo mẫu CloudFormation có chứa nội dung QuickSight của chúng tôi. Trong ví dụ này, chúng tôi sử dụng mẫu có định dạng YAML được lưu trên máy cục bộ của chúng tôi. Chúng tôi cập nhật các phần khác nhau sau đây của mẫu:
- AWS::QuickSight::DataSource
- AWS::QuickSight::Bộ dữ liệu
- AWS::QuickSight::Mẫu
- AWS::QuickSight::Phân tích
Một số thông tin cần thiết để hoàn thành mẫu CloudFormation có thể được thu thập từ tài khoản QuickSight nguồn thông qua describe
Các lệnh AWS CLI và một số thông tin cần được cập nhật cho tài khoản đích.
Tạo nguồn dữ liệu Amazon Redshift trong AWS CloudFormation
Trong bước này, chúng tôi thêm AWS::QuickSight::DataSource phần của mẫu CloudFormation.
Thu thập thông tin sau trên cụm Amazon Redshift trong tài khoản AWS đích (môi trường sản xuất):
- ARN kết nối VPC
- Máy chủ
- Hải cảng
- Cơ sở dữ liệu
- người sử dang
- Mật khẩu
- ID cụm
Bạn có tùy chọn để tạo một tùy chỉnh DataSourceID
. ID này là duy nhất cho mỗi Khu vực cho mỗi tài khoản AWS.
Thêm thông tin sau vào mẫu:
Tạo bộ dữ liệu Amazon Redshift trong AWS CloudFormation
Trong bước này, chúng tôi thêm AWS::QuickSight::Bộ dữ liệu trong mẫu CloudFormation để khớp với định nghĩa tập dữ liệu từ tài khoản nguồn.
Thu thập các chi tiết tập dữ liệu và chạy list-data-sets
lệnh để lấy tất cả các bộ dữ liệu từ tài khoản nguồn (cung cấp ID tài khoản nhà phát triển nguồn của bạn):
Đoạn mã sau là đầu ra:
Chạy describe-data-set
lệnh, chỉ định ID tập dữ liệu từ phản hồi của lệnh trước đó:
Đoạn mã sau hiển thị một phần đầu ra:
Dựa trên mô tả tập dữ liệu, hãy thêm AWS::Quicksight::DataSet
tài nguyên trong mẫu CloudFormation, như được hiển thị trong đoạn mã sau. Lưu ý rằng bạn cũng có thể tạo tùy chỉnh DataSetID
. ID này là duy nhất cho mỗi Khu vực cho mỗi tài khoản AWS.
Bạn có thể chỉ định ImportMode
để lựa chọn giữa Direct_Query
or Spice
.
Tạo mẫu QuickSight trong AWS CloudFormation
Trong bước này, chúng tôi thêm AWS::QuickSight::Mẫu trong mẫu CloudFormation, đại diện cho mẫu phân tích.
Sử dụng ARN mẫu nguồn mà bạn đã tạo trước đó và thêm AWS::Quicksight::Template
tài nguyên trong mẫu CloudFormation:
Tạo phân tích QuickSight
Trong bước cuối cùng này, chúng tôi thêm AWS::QuickSight::Phân tích trong mẫu CloudFormation. Phân tích được liên kết với mẫu được tạo trong tài khoản đích.
Thêm AWS::Quicksight::Analysis
tài nguyên trong mẫu CloudFormation như được hiển thị trong đoạn mã sau:
Triển khai mẫu CloudFormation trong tài khoản sản xuất
Để tạo ngăn xếp CloudFormation mới sử dụng mẫu trước đó thông qua bảng điều khiển AWS CloudFormation, hãy hoàn tất các bước sau:
- Trên bảng điều khiển AWS CloudFormation, hãy chọn Tạo ngăn xếp.
- Trên menu thả xuống, hãy chọn với tài nguyên mới (tiêu chuẩn).
- Trong chuẩn bị mẫu, lựa chọn Mẫu đã sẵn sàng.
- Trong Chỉ định mẫu, chọn Tải lên tệp mẫu.
- Lưu mẫu CloudFormation được cung cấp trong tệp .yaml và tải nó lên.
- Chọn Sau.
- Nhập tên cho ngăn xếp. Đối với bài đăng này, chúng tôi sử dụng
QS-RS-CF-Stack
. - Chọn Sau.
- Chọn Sau một lần nữa.
- Chọn Tạo ngăn xếp.
Trạng thái của ngăn xếp thay đổi thành CREATE_IN_PROGRESS
, sau đó CREATE_COMPLETE
.
Xác minh rằng các đối tượng QuickSight trong bảng sau đã được tạo trong môi trường sản xuất.
Loại đối tượng QuickSight | Tên đối tượng (Nhà phát triển) | Tên đối tượng (Prod) |
Nguồn dữ liệu | RS-Bán hàng-DW | RS-Bán hàng-DW |
Bộ dữ liệu | Bán hàng | Bán hàng |
Template | QS-RS-Bán hàng-Nhiệt độ | QS-RS-Phân tích doanh số-Nhiệt độ |
nghiên cứu | Phân tích bán hàng | Phân tích bán hàng |
Ví dụ sau đây cho thấy rằng Sales Analysis
đã được tạo trong tài khoản mục tiêu.
Kết luận
Bài đăng này trình bày cách tiếp cận để di chuyển phân tích QuickSight với nguồn dữ liệu Amazon Redshift từ tài khoản QuickSight này sang tài khoản QuickSight khác bằng mẫu CloudFormation.
Để biết thêm thông tin về tự động triển khai bảng điều khiển, tùy chỉnh quyền truy cập vào bảng điều khiển QuickSight, định cấu hình để cộng tác nhóm và triển khai phân tách người dùng khách hàng và nhiều bên thuê, hãy xem video Hội thảo quản trị ảo: Làm việc với API Amazon QuickSight và Hội thảo ảo nâng cấp quản trị viên, V2 trên Youtube.
Giới thiệu về tác giả
Sandeep Bajwa là Chuyên gia phân tích cấp cao có trụ sở tại Bắc Virginia, chuyên thiết kế và triển khai các giải pháp phân tích và hồ dữ liệu.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/automate-deployment-of-an-amazon-quicksight-analysis-connecting-to-an-amazon-redshift-data-warehouse-with-an-aws-cloudformation-template/
- 1
- 10
- 100
- 7
- a
- Giới thiệu
- truy cập
- có thể truy cập
- Tài khoản
- Trợ Lý Giám Đốc
- hành động
- hoạt động
- Ad
- Ngoài ra
- quản trị viên
- Tất cả
- đàn bà gan dạ
- Amazon QuickSight
- phân tích
- Các nhà phân tích
- Phân tích
- phân tích
- phân tích
- phân tích
- và
- Một
- api
- API
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- kiến trúc
- tài sản
- Tài sản
- liên kết
- tự động hóa
- tự động hóa
- AWS
- Đám mây AWS9
- Hình thành đám mây AWS
- trở lại
- lý lịch
- thanh
- dựa
- BEST
- giữa
- xây dựng
- kinh doanh
- mua
- khả năng
- mà
- Những thay đổi
- kiểm tra
- Chọn
- City
- khách hàng
- đám mây
- Cloud9
- cụm
- mã
- hợp tác
- Cột
- hoàn thành
- Hoàn thành
- phức tạp
- buổi hòa nhạc
- Kết nối
- kết nối
- Kết nối
- liên quan
- Kết nối
- An ủi
- chứa
- tạo
- tạo ra
- Tạo
- Credentials
- khách hàng
- bảng điều khiển
- dữ liệu
- Hồ dữ liệu
- kho dữ liệu
- Cơ sở dữ liệu
- bộ dữ liệu
- Ngày
- cung cấp
- chứng minh
- chứng minh
- triển khai
- triển khai
- triển khai
- mô tả
- Mô tả
- Thiết kế
- chi tiết
- Dev
- Phát triển
- khác nhau
- kích thước
- khác biệt
- mỗi
- Sớm hơn
- dễ dàng
- cho phép
- Động cơ
- Môi trường
- môi trường
- Ether (ETH)
- sự kiện
- ví dụ
- trích xuất
- NHANH
- hư cấu
- Hình
- Tập tin
- Linh hoạt
- dòng chảy
- tập trung
- tiếp theo
- từ
- tạo ra
- được
- Cho
- Nhóm
- giúp
- cấp độ cao
- chủ nhà
- Độ đáng tin của
- Hướng dẫn
- HTML
- HTTPS
- Hàng trăm
- IAM
- xác định
- Bản sắc
- thực hiện
- thực hiện
- in
- thông tin
- ban đầu
- những hiểu biết
- hội nhập
- tương tác
- tham gia
- IT
- hồ
- Họ
- LIMIT
- Dòng
- liên kết
- Liệt kê
- địa phương
- nằm
- còn
- máy
- quản lý
- quản lý
- thủ công
- Trận đấu
- Menu
- di chuyển
- di cư
- kiểu mẫu
- chi tiết
- hầu hết
- nhiều
- tên
- Được đặt theo tên
- tự nhiên
- Cần
- nhu cầu
- Mới
- tiếp theo
- vật
- đối tượng
- ONE
- Trực tuyến
- mở ra
- Tùy chọn
- Các lựa chọn
- gọi món
- cơ quan
- tổ chức
- Khác
- đề cương
- riêng
- tham số
- Mật khẩu
- thực hiện
- hiệu suất
- quyền
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Bài đăng
- điều kiện tiên quyết
- trước
- Hiệu trưởng
- Sản lượng
- tài sản
- cho
- cung cấp
- cung cấp
- cung cấp
- xuất bản
- Mau
- tài liệu tham khảo
- khu
- đại diện
- cần phải
- đòi hỏi
- tài nguyên
- Thông tin
- phản ứng
- đáp ứng
- mạnh mẽ
- Lăn
- chạy
- chạy
- bán hàng
- tương tự
- Quy mô
- Phần
- phần
- bán
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- XNUMX
- Chia sẻ
- hiển thị
- thể hiện
- Chương trình
- So
- giải pháp
- Giải pháp
- một số
- nguồn
- nguồn
- chuyên gia
- chuyên nghành
- riêng
- tiêu
- gia vị
- SQL
- ngăn xếp
- Stacks
- Tiêu chuẩn
- Bắt đầu
- Trạng thái
- Bước
- Các bước
- đủ
- bàn
- mất
- Mục tiêu
- nhóm
- mẫu
- mẫu
- thử nghiệm
- Sản phẩm
- thông tin
- Nguồn
- cung cấp their dịch
- hàng ngàn
- Thông qua
- vé
- thời gian
- đến
- công cụ
- theo dõi
- ui
- độc đáo
- Cập nhật
- cập nhật
- sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- phiên bản
- thông qua
- Video
- virginia
- ảo
- có thể nhìn thấy
- hình dung
- hình dung
- Kho
- Website
- cái nào
- rộng rãi
- ở trong
- đang làm việc
- hội thảo
- khoai mỡ
- năm
- trên màn hình
- youtube
- zephyrnet