Đây là bài đăng của khách được đồng viết với Raghu Boppanna từ Vanguard.
At Vanguard, ngành kinh doanh Tư vấn doanh nghiệp cải thiện kết quả của nhà đầu tư thông qua quyền truy cập kỹ thuật số vào tư vấn tài chính ưu việt, được cá nhân hóa và giá cả phải chăng. Một phần, họ đã biến điều đó thành hiện thực bằng cách thúc đẩy tính kinh tế theo quy mô trên toàn cầu cho các nhà đầu tư bằng một nền tảng kỹ thuật hiệu quả và linh hoạt cao. Vanguard đã chọn kiến trúc đa Khu vực cho khối lượng công việc này để giúp bảo vệ chống lại sự suy yếu của các dịch vụ Khu vực. Đối với các mục đích về tính sẵn sàng cao, cần phải cung cấp dữ liệu được khối lượng công việc sử dụng không chỉ ở Khu vực chính mà còn ở Khu vực phụ với độ trễ sao chép tối thiểu. Trong trường hợp có sự cố về dịch vụ ở Khu vực chính, giải pháp sẽ có thể chuyển đổi dự phòng sang Khu vực phụ mà ít mất dữ liệu nhất có thể và khả năng tiếp tục quá trình nhập dữ liệu.
Vanguard Cloud Technology Office và AWS đã hợp tác để xây dựng một giải pháp cơ sở hạ tầng trên AWS đáp ứng các yêu cầu về khả năng phục hồi của họ. Giải pháp Đa khu vực cho phép cơ chế chuyển đổi dự phòng mạnh mẽ, với khả năng quan sát và phục hồi tích hợp sẵn. Giải pháp này cũng hỗ trợ truyền dữ liệu từ nhiều nguồn đến các luồng dữ liệu Kinesis khác nhau. Giải pháp hiện đang được triển khai cho các nhóm kinh doanh khác nhau để cải thiện khả năng phục hồi khối lượng công việc của họ.
Trường hợp sử dụng được thảo luận ở đây yêu cầu Ghi lại dữ liệu thay đổi (CDC) để truyền dữ liệu từ nguồn dữ liệu từ xa (máy tính lớn DB2) đến Luồng dữ liệu Amazon Kinesis, vì khả năng kinh doanh phụ thuộc vào dữ liệu này. Kinesis Data Streams là một dịch vụ phát trực tuyến chi phí thấp, có khả năng mở rộng quy mô lớn, được quản lý hoàn toàn, có thể liên tục thu thập và truyền phát một lượng lớn dữ liệu từ nhiều nguồn, đồng thời cung cấp dữ liệu để sử dụng trong vòng một phần nghìn giây. Dịch vụ này được xây dựng để có khả năng phục hồi cao và sử dụng nhiều Vùng sẵn sàng để xử lý và lưu trữ dữ liệu.
Giải pháp được thảo luận trong bài đăng này giải thích cách AWS và Vanguard đổi mới để xây dựng một kiến trúc linh hoạt nhằm đáp ứng các mục tiêu về tính sẵn sàng cao của họ.
Tổng quan về giải pháp
Giải pháp sử dụng AWS Lambda để sao chép dữ liệu từ các luồng dữ liệu Kinesis trong Khu vực chính sang Khu vực phụ. Trong trường hợp có bất kỳ sự suy giảm dịch vụ nào ảnh hưởng đến quy trình CDC, quy trình chuyển đổi dự phòng sẽ chuyển Khu vực phụ thành khu vực chính cho nhà sản xuất và người tiêu dùng. Chúng tôi sử dụng Các bảng toàn cầu của Amazon DynamoDB cho các điểm kiểm tra sao chép cho phép tiếp tục truyền dữ liệu từ điểm kiểm tra và cũng duy trì cờ cấu hình Khu vực chính để ngăn vòng lặp sao chép vô hạn của cùng một dữ liệu qua lại.
Giải pháp này cũng cung cấp sự linh hoạt cho người tiêu dùng Kinesis Data Streams để sử dụng Khu vực chính hoặc bất kỳ Khu vực phụ nào trong cùng một tài khoản AWS.
Sơ đồ sau đây minh họa kiến trúc tham chiếu.
Hãy xem xét chi tiết từng thành phần:
- Bộ xử lý CDC (nhà sản xuất) – Trong kiến trúc tham chiếu này, nhà sản xuất được triển khai trên Đám mây điện toán đàn hồi Amazon (Amazon EC2) ở cả Khu vực chính và Khu vực phụ, đồng thời đang hoạt động ở Khu vực chính và ở chế độ chờ ở Khu vực phụ. Nó thu thập dữ liệu CDC từ nguồn dữ liệu ngoài (chẳng hạn như cơ sở dữ liệu DB2 như minh họa trong kiến trúc ở trên) và truyền tới Luồng dữ liệu Kinesis trong Khu vực chính. Vanguard sử dụng 3rd công cụ bên Qlik Replicate làm Bộ xử lý CDC của họ. Nó tạo ra một tải trọng được định dạng tốt bao gồm dấu thời gian chuyển giao DB2 cho luồng dữ liệu Kinesis, ngoài dữ liệu hàng thực tế từ nguồn dữ liệu từ xa. (
example-stream-1
trong ví dụ này). Mã sau đây là một tải trọng mẫu chỉ chứa khóa chính của bản ghi đã thay đổi và dấu thời gian xác nhận (để đơn giản, phần còn lại của dữ liệu hàng trong bảng không được hiển thị bên dưới):{ "eventSource": "aws:kinesis", "kinesis": { "ApproximateArrivalTimestamp": "Mon July 18 20:00:00 UTC 2022", "SequenceNumber": "49544985256907370027570885864065577703022652638596431874", "PartitionKey": "12349999", "KinesisSchemaVersion": "1.0", "Data": "eyJLZXkiOiAxMjM0OTk5OSwiQ29tbWl0VGltZXN0YW1wIjogIjIwMjItMDctMThUMjA6MDA6MDAifQ==" }, "eventId": "shardId-000000000000:49629136582982516722891309362785181370337771525377097730", "invokeIdentityArn": "arn:aws:iam::6243876582:role/kds-crr-LambdaRole-1GZWP67437SD", "eventName": "aws:kinesis:record", "eventVersion": "1.0", "eventSourceARN": "arn:aws:kinesis:us-east-1:6243876582:stream/kds-stream-1/consumer/kds-crr:6243876582", "awsRegion": "us-east-1" }
Giá trị giải mã Base64 của
Data
là như sau. Bản ghi Kinesis thực tế sẽ chứa toàn bộ dữ liệu hàng của hàng trong bảng đã thay đổi, ngoài khóa chính và dấu thời gian cam kết.{"Key": 12349999,"CommitTimestamp": "2022-07-18T20:00:00"}
Sản phẩm
CommitTimestamp
trongData
được sử dụng trong điểm kiểm tra sao chép và rất quan trọng để theo dõi chính xác lượng dữ liệu luồng đã được sao chép sang Khu vực phụ. Sau đó, điểm kiểm tra có thể được sử dụng để hỗ trợ quá trình chuyển đổi dự phòng của bộ xử lý CDC (nhà sản xuất) và tiếp tục tạo dữ liệu một cách chính xác từ dấu thời gian của điểm kiểm tra sao chép trở đi.Giải pháp thay thế cho việc sử dụng nguồn dữ liệu từ xa
CommitTimestamp
(nếu không có) là sử dụngApproximateArrivalTimestamp
(là dấu thời gian khi bản ghi thực sự được ghi vào luồng dữ liệu). - Chức năng Lambda sao chép giữa các khu vực – Chức năng được triển khai cho cả Khu vực chính và Khu vực phụ. Nó được thiết lập với ánh xạ nguồn sự kiện tới luồng dữ liệu chứa dữ liệu CDC. Chức năng tương tự có thể được sử dụng để sao chép dữ liệu của nhiều luồng. Nó được gọi với một lô bản ghi từ Kinesis Data Streams và sao chép lô đó sang một Khu vực sao chép đích (được cung cấp qua môi trường cấu hình Lambda). Để cân nhắc về chi phí, nếu dữ liệu CDC chỉ được tạo chủ động ở Khu vực chính, thì tính đồng thời dự trữ của chức năng ở Khu vực phụ có thể được đặt thành XNUMX và được sửa đổi trong quá trình chuyển đổi dự phòng khu vực. chức năng có Quản lý truy cập và nhận dạng AWS (IAM) quyền vai trò để làm như sau:
- Đọc và ghi vào các bảng chung của DynamoDB được sử dụng trong giải pháp này, trong cùng một tài khoản.
- Đọc và ghi vào Kinesis Data Streams ở cả hai Khu vực trong cùng một tài khoản.
- Xuất bản chỉ số tùy chỉnh lên amazoncloudwatch ở cả hai Khu vực trong cùng một tài khoản.
- điểm kiểm tra sao chép – Điểm kiểm tra sao chép sử dụng bảng toàn cầu DynamoDB ở cả Khu vực chính và Khu vực phụ. Nó được hàm Lambda sao chép giữa các khu vực sử dụng để duy trì dấu thời gian cam kết của bản ghi sao chép cuối cùng dưới dạng điểm kiểm tra sao chép cho mọi luồng được định cấu hình để sao chép. Đối với bài đăng này, chúng tôi tạo và sử dụng một bảng toàn cục có tên
kdsReplicationCheckpoint
. - Cấu hình vùng hoạt động – Khu vực đang hoạt động sử dụng bảng toàn cầu DynamoDB ở cả Khu vực chính và Khu vực phụ. Nó sử dụng khả năng sao chép giữa các Vùng riêng của bảng toàn cầu để sao chép cấu hình. Nó được điền sẵn dữ liệu về Khu vực chính cho luồng, để ngăn sao chép trở lại Khu vực chính bằng hàm Lambda trong Khu vực dự phòng. Cấu hình này có thể không bắt buộc nếu hàm Lambda ở Khu vực dự phòng có đồng thời dự trữ được đặt thành XNUMX, nhưng có thể đóng vai trò kiểm tra an toàn để tránh vòng lặp sao chép dữ liệu vô hạn. Đối với bài đăng này, chúng tôi tạo một bảng toàn cục có tên
kdsActiveRegionConfig
và đặt một mục với dữ liệu sau:{ "stream-name": "example-stream-1", "active-region" : "us-east-1" }
- Luồng dữ liệu Kinesis – Luồng mà bộ xử lý CDC tạo ra dữ liệu. Đối với bài đăng này, chúng tôi sử dụng một luồng có tên
example-stream-1
trong cả hai Khu vực, với cùng cấu hình phân đoạn và chính sách truy cập.
Trình tự các bước sao chép liên vùng
Hãy xem xét ngắn gọn cách kiến trúc được thực hiện bằng sơ đồ trình tự sau.
Trình tự bao gồm các bước sau:
- Bộ xử lý CDC (trong
us-east-1
) đọc dữ liệu CDC từ nguồn dữ liệu từ xa. - Bộ xử lý CDC (trong
us-east-1
) truyền dữ liệu CDC tới Kinesis Data Streams (trongus-east-1
). - Hàm Lambda sao chép giữa các khu vực (trong us-east-1) sử dụng dữ liệu từ luồng dữ liệu (trong
us-east-1
). Mẫu phân xuất nâng cao được khuyến nghị cho thông lượng chuyên dụng và tăng để sao chép giữa các Khu vực. - Chức năng Lambda của bộ sao chép (trong
us-east-1
) xác thực Khu vực hiện tại của nó với cấu hình Khu vực đang hoạt động cho luồng đang được sử dụng, với sự trợ giúp củakdsActiveRegionConfig
Bảng toàn cầu DynamoDBMã mẫu sau (bằng Java) có thể giúp minh họa điều kiện đang được đánh giá:// Fetch the current AWS Region from the Lambda function’s environment String currentAWSRegion = System.getenv(“AWS_REGION”); // Read the stream name from the first Kinesis Record once for the entire batch being processed. This is done because we are reusing the same Lambda function for replicating multiple streams. String currentStreamNameConsumed = kinesisRecord.getEventSourceARN().split(“:”)[5].split(“/”)[1]; // Build the DynamoDB query condition using the stream name Map<String, Condition> keyConditions = singletonMap(“streamName”, Condition.builder().comparisonOperator(EQ).attributeValueList(AttributeValue.builder().s(currentStreamNameConsumed).build()).build()); // Query the DynamoDB Global Table QueryResponse queryResponse = ddbClient.query(QueryRequest.builder().tableName("kdsActiveRegionConfig").keyConditions(keyConditions).attributesToGet(“ActiveRegion”).build());
- Hàm đánh giá phản hồi từ DynamoDB bằng mã sau:
// Evaluate the response if (queryResponse.hasItems()) { AttributeValue activeRegionForStream = queryResponse.items().get(0).get(“ActiveRegion”); return currentAWSRegion.equalsIgnoreCase(activeRegionForStream.s()); }
- Tùy thuộc vào phản hồi, chức năng thực hiện các hành động sau:
- Nếu câu trả lời là
true
, hàm sao chép sẽ tạo bản ghi cho Kinesis Data Streams trongus-east-2
một cách tuần tự.- Nếu xảy ra lỗi, số thứ tự của bản ghi sẽ được theo dõi và quá trình lặp lại bị hỏng. Hàm trả về danh sách các số thứ tự bị lỗi. Bằng cách trả về số thứ tự không thành công, giải pháp sử dụng tính năng của Điểm kiểm tra Lambda để có thể tiếp tục xử lý một loạt bản ghi bị lỗi một phần. Điều này hữu ích khi xử lý mọi sự cố dịch vụ, trong đó chức năng cố gắng sao chép dữ liệu trên các Khu vực để đảm bảo tính chẵn lẻ của luồng và không mất dữ liệu.
- Nếu không có lỗi nào, một danh sách trống sẽ được trả về, điều này cho biết lô đã thành công.
- Nếu câu trả lời là
false
, hàm sao chép trả về mà không thực hiện bất kỳ bản sao nào. Để giảm chi phí của các lệnh gọi Lambda, bạn có thể đặt đồng thời dự trữ của hàm trong Vùng DR (us-east-2
) về không. Điều này sẽ ngăn chức năng được gọi. Khi bạn chuyển đổi dự phòng, bạn có thể cập nhật giá trị này thành một số thích hợp dựa trên thông lượng CDC và đặt đồng thời dự trữ của chức năng trongus-east-1
về XNUMX để ngăn nó thực thi không cần thiết.
- Nếu câu trả lời là
- Sau khi tất cả các bản ghi được tạo ra Kinesis Data Streams trong
us-east-2
, các điểm kiểm tra chức năng sao chép đếnkdsReplicationCheckpoint
Bảng toàn cầu DynamoDB (trongus-east-1
) với dữ liệu sau:{ "streamName": "example-stream-1", "lastReplicatedTimestamp": "2022-07-18T20:00:00" }
- Hàm trả về sau khi xử lý thành công lô bản ghi.
Cân nhắc về hiệu suất
Các kỳ vọng về hiệu suất của giải pháp cần được hiểu đối với các yếu tố sau:
- Lựa chọn khu vực – Độ trễ sao chép tỷ lệ thuận với khoảng cách mà dữ liệu di chuyển, vì vậy hãy hiểu lựa chọn Khu vực của bạn
- Vận tốc – Vận tốc đến của dữ liệu hoặc khối lượng dữ liệu được sao chép
- kích thước tải trọng – Kích thước của tải trọng được nhân rộng
Theo dõi sao chép xuyên khu vực
Bạn nên theo dõi và quan sát quá trình sao chép khi nó xảy ra. Bạn có thể điều chỉnh hàm Lambda để xuất bản chỉ số tùy chỉnh lên CloudWatch với các chỉ số sau đây ở cuối mỗi lệnh gọi. Xuất bản các chỉ số này cho cả Khu vực chính và Khu vực phụ giúp bảo vệ bạn khỏi những khiếm khuyết ảnh hưởng đến khả năng quan sát ở Khu vực chính.
- Thông lượng – Kích thước lô lệnh gọi Lambda hiện tại
- Sao chépLagSeconds – Sự khác biệt giữa dấu thời gian hiện tại (sau khi xử lý tất cả các bản ghi) và dấu thời gian
ApproximateArrivalTimestamp
của bản ghi cuối cùng đã được sao chép
Ví dụ sau đây, biểu đồ chỉ số CloudWatch cho thấy độ trễ sao chép trung bình là 2 giây với thông lượng 100 bản ghi được sao chép từ us-east-1
đến us-east-2
.
Chiến lược chuyển đổi dự phòng chung
Trong thời gian xảy ra bất kỳ sự cố nào ảnh hưởng đến đường ống CDC ở Khu vực chính, các nhu cầu về tính liên tục của hoạt động kinh doanh hoặc khắc phục thảm họa có thể dẫn đến việc chuyển đổi dự phòng đường ống sang Khu vực phụ (dự phòng). Điều này có nghĩa là một số điều cần được thực hiện như một phần của quy trình chuyển đổi dự phòng này:
- Nếu có thể, hãy dừng tất cả các tác vụ CDC trong công cụ xử lý CDC trong
us-east-1
. - Bộ xử lý CDC phải được chuyển sang Khu vực phụ không thành công để nó có thể đọc dữ liệu CDC từ nguồn dữ liệu từ xa trong khi hoạt động ngoài Khu vực dự phòng.
- Sản phẩm
kdsActiveRegionConfig
Bảng toàn cầu DynamoDB cần được cập nhật. Chẳng hạn, đối với luồngexample-stream-1
được sử dụng trong ví dụ của chúng tôi, Khu vực đang hoạt động được đổi thànhus-east-2
:
{ "stream-name": "example-stream-1", "active-Region" : "us-east-2"
}
- Tất cả các điểm kiểm tra luồng cần phải được đọc từ
kdsReplicationCheckpoint
Bảng toàn cầu DynamoDB (trongus-east-2
) và dấu thời gian từ mỗi điểm kiểm tra được sử dụng để bắt đầu các tác vụ CDC trong công cụ sản xuất trongus-east-2
Vùng đất. Điều này giảm thiểu khả năng mất dữ liệu và tiếp tục truyền trực tuyến dữ liệu CDC một cách chính xác từ nguồn dữ liệu từ xa từ dấu thời gian của điểm kiểm tra trở đi. - Nếu sử dụng đồng thời dự trữ để kiểm soát các lệnh gọi Lambda, hãy đặt giá trị thành XNUMX trong Khu vực chính(
us-east-1
) và đến một giá trị khác XNUMX phù hợp trong Vùng phụ (us-east-2
).
Chiến lược chuyển đổi dự phòng nhiều bước của Vanguard
Một số công cụ của bên thứ ba mà Vanguard sử dụng có quy trình CDC hai bước truyền dữ liệu từ nguồn dữ liệu từ xa đến đích. Công cụ Vanguard lựa chọn cho bộ xử lý CDC của họ tuân theo phương pháp hai bước sau:
- Bước đầu tiên liên quan đến việc thiết lập tác vụ luồng nhật ký đọc dữ liệu từ nguồn dữ liệu từ xa và lưu giữ ở vị trí tổ chức.
- Bước thứ hai liên quan đến việc thiết lập các tác vụ của người tiêu dùng riêng lẻ để đọc dữ liệu từ vị trí tổ chức—có thể được bật Hệ thống tệp đàn hồi Amazon (Amazon EFS) hoặc Amazon FSx, ví dụ—và truyền nó đến đích. Tính linh hoạt ở đây là mỗi tác vụ của người tiêu dùng này có thể được kích hoạt để phát trực tuyến từ các dấu thời gian cam kết khác nhau. Tác vụ luồng nhật ký thường bắt đầu đọc dữ liệu từ mức tối thiểu trong số tất cả các dấu thời gian cam kết được sử dụng bởi các tác vụ của người tiêu dùng.
Hãy xem một ví dụ để giải thích kịch bản:
- Nhiệm vụ của người tiêu dùng A đang truyền dữ liệu từ dấu thời gian cam kết 2022-07-19T20:00:00 trở đi tới
example-stream-1
. - Nhiệm vụ của người tiêu dùng B đang truyền dữ liệu từ dấu thời gian cam kết 2022-07-19T21:00:00 trở đi tới
example-stream-2
. - Trong trường hợp này, luồng nhật ký sẽ đọc dữ liệu từ nguồn dữ liệu từ xa từ dấu thời gian tối thiểu được sử dụng bởi các tác vụ của người tiêu dùng, đó là 2022-07-19T20:00:00.
Sơ đồ trình tự sau đây minh họa các bước chính xác để chạy trong quá trình chuyển đổi dự phòng thành us-east-2
(Khu vực dự phòng).
Các bước thực hiện như sau:
- Quá trình chuyển đổi dự phòng được kích hoạt trong Vùng dự phòng (
us-east-2
trong ví dụ này) khi được yêu cầu. Lưu ý rằng trình kích hoạt có thể được tự động hóa bằng cách sử dụng kiểm tra tình trạng toàn diện của đường ống trong Khu vực chính. - Quá trình chuyển đổi dự phòng cập nhật bảng toàn cầu kdsActiveRegionConfig DynamoDB với giá trị mới cho Khu vực là
us-east-2
cho tất cả các tên luồng. - Bước tiếp theo là tìm nạp tất cả các điểm kiểm tra luồng từ
kdsReplicationCheckpoint
Bảng toàn cầu DynamoDB (trongus-east-2
). - Sau khi thông tin điểm kiểm tra được đọc, quá trình chuyển đổi dự phòng sẽ tìm giá trị nhỏ nhất của tất cả
lastReplicatedTimestamp
. - Tác vụ luồng nhật ký trong công cụ xử lý CDC được bắt đầu trong
us-east-2
với dấu thời gian có ở Bước 4. Nó bắt đầu đọc dữ liệu CDC từ nguồn dữ liệu từ xa từ dấu thời gian này trở đi và lưu giữ chúng ở vị trí tổ chức trên AWS. - Bước tiếp theo là bắt đầu tất cả các tác vụ của người tiêu dùng để đọc dữ liệu từ vị trí tổ chức và truyền tới luồng dữ liệu đích. Đây là nơi mỗi tác vụ của người tiêu dùng được cung cấp dấu thời gian thích hợp từ
kdsReplicationCheckpoint
bảng theostreamName
mà nhiệm vụ truyền dữ liệu.
Sau khi bắt đầu tất cả các tác vụ của người tiêu dùng, dữ liệu được tạo ra cho các luồng dữ liệu Kinesis trong us-east-2. Từ đó trở đi, quy trình sao chép giữa các Vùng giống như đã mô tả trước đó – chức năng Lambda sao chép trong us-east-2
bắt đầu sao chép dữ liệu vào luồng dữ liệu trong us-east-1
.
Các ứng dụng tiêu dùng đọc dữ liệu từ các luồng được mong đợi là bình thường để có thể xử lý các bản sao. Các bản sao có thể được đưa vào luồng do nhiều lý do, một số trong số đó được nêu ra bên dưới.
- Nhà sản xuất hoặc Bộ xử lý CDC đưa các bản sao vào luồng trong khi phát lại dữ liệu CDC trong quá trình chuyển đổi dự phòng
- Bảng toàn cầu DynamoDB sử dụng sao chép dữ liệu không đồng bộ giữa các Khu vực và nếu
kdsReplicationCheckpoint
dữ liệu bảng có độ trễ sao chép, quy trình chuyển đổi dự phòng có khả năng sử dụng dấu thời gian điểm kiểm tra cũ hơn để phát lại dữ liệu CDC.
Ngoài ra, các ứng dụng của người tiêu dùng nên kiểm tra Dấu thời gian cam kết của bản ghi cuối cùng đã được sử dụng. Điều này là để tạo điều kiện theo dõi và phục hồi tốt hơn.
Con đường trưởng thành: Phục hồi tự động
Trạng thái lý tưởng là tự động hóa hoàn toàn quy trình chuyển đổi dự phòng, giảm thời gian khôi phục và đáp ứng Mục tiêu mức dịch vụ phục hồi (SLO). Tuy nhiên, trong hầu hết các tổ chức, quyết định fail over, fail back và kích hoạt chuyển đổi dự phòng yêu cầu can thiệp thủ công trong việc đánh giá tình hình và quyết định kết quả. Tạo tự động hóa theo kịch bản để thực hiện chuyển đổi dự phòng có thể được điều hành bởi con người là một nơi tốt để bắt đầu.
Vanguard đã tự động hóa tất cả các bước chuyển đổi dự phòng, nhưng con người vẫn đưa ra quyết định về thời điểm kích hoạt nó. Bạn có thể tùy chỉnh giải pháp để đáp ứng nhu cầu của mình và tùy thuộc vào công cụ xử lý CDC mà bạn sử dụng trong môi trường của mình.
Kết luận
Trong bài đăng này, chúng tôi đã mô tả cách Vanguard đổi mới và xây dựng giải pháp sao chép dữ liệu giữa các Khu vực trong Luồng dữ liệu Kinesis để cung cấp dữ liệu ở mức cao. Chúng tôi cũng đã chứng minh một chiến lược điểm kiểm tra mạnh mẽ để tạo điều kiện chuyển đổi dự phòng Khu vực của quy trình sao chép khi cần. Giải pháp này cũng minh họa cách sử dụng các bảng toàn cầu của DynamoDB để theo dõi các điểm kiểm tra sao chép và cấu hình. Với kiến trúc này, Vanguard có thể triển khai khối lượng công việc tùy thuộc vào dữ liệu CDC cho nhiều Khu vực để đáp ứng nhu cầu kinh doanh về tính sẵn sàng cao trước tình trạng suy giảm dịch vụ ảnh hưởng đến các đường ống CDC ở Khu vực chính.
Nếu bạn có bất kỳ phản hồi nào, vui lòng để lại nhận xét trong phần Nhận xét bên dưới.
Giới thiệu về tác giả
Raghu Boppanna làm việc với tư cách là Kiến trúc sư Doanh nghiệp tại Văn phòng Công nghệ trưởng của Vanguard. Raghu chuyên về Phân tích dữ liệu, Di chuyển/Sao chép dữ liệu bao gồm Đường ống CDC, Khôi phục thảm họa và Cơ sở dữ liệu. Anh ấy đã giành được một số Chứng chỉ AWS bao gồm Bảo mật được chứng nhận AWS – Chuyên ngành & Phân tích dữ liệu được chứng nhận AWS – Chuyên ngành.
Parameswaran V Vaidyanathan là Kiến trúc sư khả năng phục hồi đám mây cấp cao của Amazon Web Services. Anh ấy giúp các doanh nghiệp lớn đạt được các mục tiêu kinh doanh bằng cách kiến trúc và xây dựng các giải pháp linh hoạt và có thể mở rộng trên Đám mây AWS.
Richa Kaul là Lãnh đạo cấp cao về Giải pháp khách hàng phục vụ khách hàng Dịch vụ tài chính. Cô ấy sống ở New York. Cô ấy có nhiều kinh nghiệm trong việc chuyển đổi đám mây quy mô lớn, sự xuất sắc của nhân viên và các giải pháp kỹ thuật số thế hệ tiếp theo. Cô và nhóm của mình tập trung vào việc tối ưu hóa giá trị của đám mây bằng cách xây dựng các giải pháp hiệu quả, linh hoạt và nhanh nhẹn. Richa thích nhiều môn thể thao như ba môn phối hợp, âm nhạc và tìm hiểu về các công nghệ mới.
Mithil Prasad là Giám đốc giải pháp khách hàng chính của Amazon Web Services. Trong vai trò của mình, Mithil làm việc với Khách hàng để thúc đẩy hiện thực hóa giá trị của đám mây, cung cấp tư duy lãnh đạo để giúp các doanh nghiệp đạt được tốc độ, sự linh hoạt và đổi mới.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/how-vanguard-made-their-technology-platform-resilient-and-efficient-by-building-cross-region-replication-for-amazon-kinesis-data-streams/
- 1
- 100
- 2022
- 28
- a
- có khả năng
- Có khả năng
- Giới thiệu
- ở trên
- truy cập
- Theo
- Tài khoản
- chính xác
- Đạt được
- ngang qua
- hành động
- hoạt động
- tích cực
- thực sự
- Ngoài ra
- tư vấn
- ảnh hưởng đến
- giá cả phải chăng
- Sau
- chống lại
- nhanh nhẹn
- Tất cả
- cho phép
- thay thế
- đàn bà gan dạ
- Amazon EC2
- Amazon Kinesis
- Amazon Web Services
- số lượng
- phân tích
- và
- các ứng dụng
- phương pháp tiếp cận
- thích hợp
- kiến trúc
- tự động hóa
- Tự động
- Tự động hóa
- sẵn có
- có sẵn
- Trung bình cộng
- tránh
- AWS
- Chứng nhận AWS
- trở lại
- dựa
- bởi vì
- được
- phía dưới
- Hơn
- giữa
- một thời gian ngắn
- Bị phá vỡ
- xây dựng
- Xây dựng
- xây dựng
- được xây dựng trong
- kinh doanh
- liên tục kinh doanh
- các doanh nghiệp
- gọi là
- nắm bắt
- chụp
- trường hợp
- CDC
- chứng chỉ
- CHỨNG NHẬN
- tỷ lệ cược
- thay đổi
- kiểm tra
- Séc
- chánh
- sự lựa chọn
- đám mây
- CÔNG NGHỆ ĐÁM MÂY
- mã
- bình luận
- Bình luận
- cam kết
- thành phần
- toàn diện
- Tính
- điều kiện
- Cấu hình
- sự cân nhắc
- tiêu thụ
- người tiêu dùng
- Người tiêu dùng
- tiêu thụ
- liên tục
- điều khiển
- Phí Tổn
- có thể
- Couple
- tạo
- Tạo
- quan trọng
- Current
- Hiện nay
- khách hàng
- khách hàng
- Giải pháp khách hàng
- khách hàng
- tùy chỉnh
- dữ liệu
- Phân tích dữ liệu
- mất dữ liệu
- Cơ sở dữ liệu
- cơ sở dữ liệu
- Quyết định
- quyết định
- dành riêng
- chứng minh
- chứng minh
- Tùy
- phụ thuộc
- triển khai
- triển khai
- mô tả
- điểm đến
- chi tiết
- sự khác biệt
- khác nhau
- kỹ thuật số
- trực tiếp
- thiên tai
- thảo luận
- khoảng cách
- lái xe
- lái xe
- bản sao
- suốt trong
- mỗi
- Sớm hơn
- kiếm được
- nền kinh tế
- Quy mô nền kinh tế
- hiệu quả
- Công nhân
- cho phép
- nâng cao
- đảm bảo
- Doanh nghiệp
- doanh nghiệp
- Toàn bộ
- Môi trường
- Ether (ETH)
- đánh giá
- đánh giá
- Sự kiện
- Mỗi
- ví dụ
- Xuất sắc
- thi hành
- mong đợi
- dự kiến
- kinh nghiệm
- Giải thích
- Giải thích
- mở rộng
- ngoài
- Đối mặt
- tạo điều kiện
- các yếu tố
- FAIL
- thất bại
- Không
- Đặc tính
- thông tin phản hồi
- lĩnh vực
- Tập tin
- tài chính
- dịch vụ tài chính
- tìm thấy
- Tên
- Linh hoạt
- Tập trung
- tiếp theo
- sau
- Nhà đầu tư
- tìm thấy
- từ
- đầy đủ
- chức năng
- thế hệ
- Toàn cầu
- toàn cầu
- Các mục tiêu
- tốt
- đồ thị
- Khách
- Bài đăng của Khách
- xử lý
- Xử lý
- xảy ra
- cho sức khoẻ
- giúp đỡ
- giúp
- tại đây
- Cao
- cao
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTTPS
- Nhân loại
- Con người
- IAM
- lý tưởng
- Bản sắc
- suy nhược
- nâng cao
- cải thiện
- in
- Bao gồm
- Incoming
- tăng
- chỉ
- hệ thống riêng biệt,
- thông tin
- Cơ sở hạ tầng
- sự đổi mới
- ví dụ
- can thiệp
- giới thiệu
- Giới thiệu
- nhà đầu tư
- Các nhà đầu tư
- liên quan đến
- IT
- sự lặp lại
- Java
- Tháng Bảy
- Key
- Luồng dữ liệu Kinesis
- lớn
- Họ
- Độ trễ
- lãnh đạo
- Lãnh đạo
- học tập
- Rời bỏ
- Cấp
- Dòng
- dòng
- Danh sách
- ít
- địa điểm thư viện nào
- Xem
- sự mất
- thực hiện
- duy trì
- làm cho
- LÀM CHO
- quản lý
- giám đốc
- cách thức
- nhãn hiệu
- nhiều
- lập bản đồ
- ồ ạt
- trưởng thành
- có nghĩa
- cơ chế
- Gặp gỡ
- cuộc họp
- số liệu
- Metrics
- tối thiểu
- tối thiểu
- Chế độ
- sửa đổi
- giám sát
- hầu hết
- đa
- nhiều
- Âm nhạc
- tên
- tên
- tự nhiên
- Cần
- cần thiết
- nhu cầu
- Mới
- Công nghệ mới
- Newyork
- tiếp theo
- con số
- số
- Mục tiêu
- tuân theo
- Office
- hoạt động
- tối ưu hóa
- tổ chức
- Kết quả
- tính chẵn lẻ
- một phần
- hợp tác
- bên
- Họa tiết
- thực hiện
- hiệu suất
- biểu diễn
- quyền
- vẫn tồn tại
- Cá nhân
- đường ống dẫn
- Nơi
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- Chính sách
- có thể
- Bài đăng
- có khả năng
- ngăn chặn
- chính
- Hiệu trưởng
- quá trình
- xử lý
- Bộ xử lý
- Sản xuất
- sản xuất
- Các nhà sản xuất
- quảng bá
- bảo vệ
- cho
- cung cấp
- cung cấp
- xuất bản
- Xuất bản
- mục đích
- đặt
- Đọc
- Reading
- hiện thực hóa
- lý do
- đề nghị
- ghi
- hồ sơ
- Phục hồi
- phục hồi
- giảm
- giảm
- khu
- khu vực
- vùng
- xa
- nhân rộng
- nhân rộng
- nhân rộng
- cần phải
- Yêu cầu
- đòi hỏi
- Ltd
- khả năng phục hồi
- đàn hồi
- phản ứng
- REST của
- tiếp tục
- trở lại
- trở về
- Trả về
- mạnh mẽ
- Vai trò
- Cán
- HÀNG
- chạy
- Sự An Toàn
- tương tự
- khả năng mở rộng
- Quy mô
- kịch bản
- Thứ hai
- trung học
- giây
- Phần
- an ninh
- cao cấp
- Trình tự
- phục vụ
- dịch vụ
- DỊCH VỤ
- phục vụ
- định
- thiết lập
- một số
- nên
- thể hiện
- Chương trình
- đơn giản
- tình hình
- Kích thước máy
- So
- giải pháp
- Giải pháp
- một số
- nguồn
- nguồn
- chuyên
- Đặc biệt
- tốc độ
- Thể thao
- dàn dựng
- Bắt đầu
- bắt đầu
- bắt đầu
- Tiểu bang
- Bước
- Các bước
- Vẫn còn
- Dừng
- hàng
- Chiến lược
- dòng
- trực tuyến
- Dịch vụ truyền trực tuyến
- dòng
- thành công
- Thành công
- phù hợp
- cao
- cung cấp
- Hỗ trợ
- hệ thống
- bàn
- mất
- Mục tiêu
- Nhiệm vụ
- nhiệm vụ
- nhóm
- đội
- Kỹ thuật
- Công nghệ
- Công nghệ
- Sản phẩm
- cung cấp their dịch
- điều
- của bên thứ ba
- nghĩ
- tư duy lãnh đạo
- Thông qua
- thông lượng
- thời gian
- dấu thời gian
- đến
- công cụ
- công cụ
- theo dõi
- Theo dõi
- Chuyển đổi
- đi du lịch
- kích hoạt
- được kích hoạt
- hiểu
- hiểu
- không cần thiết
- Cập nhật
- cập nhật
- Cập nhật
- sử dụng
- ca sử dụng
- thường
- UTC
- giá trị
- Vanguard
- Thành phố Velo
- thông qua
- khối lượng
- web
- các dịch vụ web
- cái nào
- trong khi
- sẽ
- ở trong
- không có
- công trinh
- sẽ
- viết
- viết
- trên màn hình
- mình
- zephyrnet
- không
- khu vực Ace