Με Amazon Managed Streaming για το Apache Kafka (Amazon MSK), μπορείτε να δημιουργήσετε και να εκτελέσετε εφαρμογές που χρησιμοποιούν Apache Kafka για την επεξεργασία δεδομένων ροής. Για την επεξεργασία δεδομένων ροής, οι οργανισμοί είτε χρησιμοποιούν πολλαπλά συμπλέγματα Kafka με βάση τις ομαδοποιήσεις εφαρμογών τους, τα σενάρια χρήσης, τις απαιτήσεις συμμόρφωσης και άλλους παράγοντες, είτε ένα αποκλειστικό σύμπλεγμα Kafka για ολόκληρο τον οργανισμό. Δεν έχει σημασία ποιο μοτίβο χρησιμοποιείται, τα συμπλέγματα Kafka είναι συνήθως πολλαπλών μισθωτών, επιτρέποντας σε πολλαπλές εφαρμογές παραγωγών και καταναλωτών να καταναλώνουν και να παράγουν δεδομένα ροής ταυτόχρονα.
Ωστόσο, με τα συμπλέγματα Kafka πολλαπλών ενοικιαστών, μια από τις προκλήσεις είναι να διασφαλιστεί ότι οι εφαρμογές καταναλωτών και παραγωγών δεδομένων δεν χρησιμοποιούν υπερβολικά πόρους συμπλέγματος. Υπάρχει πιθανότητα μερικές εφαρμογές με κακή συμπεριφορά να χρησιμοποιούν υπερβολικά πόρους συμπλέγματος, επηρεάζοντας κατά συνέπεια τις εφαρμογές με καλή συμπεριφορά. Επομένως, οι ομάδες που διαχειρίζονται συστάδες Kafka πολλαπλών ενοικιαστών χρειάζονται έναν μηχανισμό που να αποτρέπει τις εφαρμογές από την υπερκατανάλωση πόρων συμπλέγματος προκειμένου να αποφευχθούν προβλήματα. Εδώ μπαίνουν στο παιχνίδι οι ποσοστώσεις Κάφκα. Οι ποσοστώσεις του Kafka ελέγχουν τον όγκο των πόρων που μπορούν να χρησιμοποιήσουν οι εφαρμογές πελατών μέσα σε ένα σύμπλεγμα Kafka.
Στο Μέρος 1 αυτής της σειράς δύο μερών, εξηγούμε τις έννοιες του τρόπου επιβολής ποσοστώσεων Kafka σε συστάδες Kafka πολλαπλών μισθωτών MSK κατά τη χρήση Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) έλεγχος πρόσβασης για έλεγχο ταυτότητας και εξουσιοδότηση. Σε Μέρος 2, καλύπτουμε λεπτομερή βήματα υλοποίησης μαζί με δείγματα εφαρμογών πελάτη Kafka.
Σύντομη εισαγωγή στις ποσοστώσεις Κάφκα
Οι ποσοστώσεις του Kafka ελέγχουν τον όγκο των πόρων που μπορούν να χρησιμοποιήσουν οι εφαρμογές πελατών μέσα σε ένα σύμπλεγμα Kafka. Είναι πιθανό το σύμπλεγμα Kafka πολλαπλών ενοικιαστών να παρουσιάσει υποβάθμιση της απόδοσης ή πλήρη διακοπή λειτουργίας λόγω περιορισμών πόρων, εάν μία ή περισσότερες εφαρμογές πελάτη παράγουν ή καταναλώνουν μεγάλους όγκους δεδομένων ή δημιουργούν αιτήματα με πολύ υψηλό ρυθμό για συνεχή χρονική περίοδο, μονοπωλώντας Οι πόροι του συμπλέγματος Κάφκα.
Για να αποτρέψει τις εφαρμογές να κατακλύσουν το σύμπλεγμα, το Apache Kafka επιτρέπει τη διαμόρφωση ποσοστώσεων που καθορίζουν πόση επισκεψιμότητα παράγει και καταναλώνει κάθε εφαρμογή πελάτη ανά μεσολαβητή Kafka σε ένα σύμπλεγμα. Οι μεσίτες Kafka ρυθμίζουν τα αιτήματα των αιτήσεων πελατών σύμφωνα με τις ποσοστώσεις που τους έχουν κατανεμηθεί. Οι ποσοστώσεις Kafka μπορούν να διαμορφωθούν για συγκεκριμένες Χρήστες, ή συγκεκριμένο αναγνωριστικά πελατών, ή και οι δύο. ο ταυτότητα πελάτη είναι ένα λογικό όνομα που ορίζεται στον κώδικα εφαρμογής που χρησιμοποιούν οι μεσίτες Kafka για να προσδιορίσουν ποια εφαρμογή έστειλε μηνύματα. ο χρήστη αντιπροσωπεύει την αρχή ελέγχου ταυτότητας χρήστη μιας εφαρμογής πελάτη σε ένα ασφαλές σύμπλεγμα Kafka με ενεργοποιημένο τον έλεγχο ταυτότητας.
Υπάρχουν δύο τύποι ποσοστώσεων που υποστηρίζονται στον Κάφκα:
- Όρια εύρους ζώνης δικτύου – Τα κατώφλια ρυθμού byte καθορίζουν πόσα δεδομένα μπορούν οι εφαρμογές πελάτη παράγει σε και καταναλώνουν από κάθε μεσολαβητή σε ένα σύμπλεγμα Kafka μετρημένο σε byte ανά δευτερόλεπτο.
- Ζητήστε ποσοστώσεις ποσοστών – Αυτό περιορίζει το ποσοστό του χρόνου που αφιερώνει κάθε μεσίτης για την επεξεργασία αιτημάτων εφαρμογών πελατών.
Ανάλογα με τις απαιτήσεις της επιχείρησης, μπορείτε να χρησιμοποιήσετε οποιαδήποτε από αυτές τις διαμορφώσεις ορίου. Ωστόσο, η χρήση ποσοστώσεων εύρους ζώνης δικτύου είναι κοινή επειδή επιτρέπει στους οργανισμούς να περιορίζουν την κατανάλωση πόρων πλατφόρμας σύμφωνα με την ποσότητα δεδομένων που παράγονται και καταναλώνονται από τις εφαρμογές ανά δευτερόλεπτο.
Επειδή αυτή η ανάρτηση χρησιμοποιεί ένα σύμπλεγμα MSK με έλεγχο πρόσβασης IAM, συζητάμε συγκεκριμένα τη διαμόρφωση ποσοστώσεις εύρους ζώνης δικτύου με βάση τις αιτήσεις" αναγνωριστικά πελατών και πιστοποιημένες αρχές χρήστη.
Σκέψεις για τις ποσοστώσεις Κάφκα
Λάβετε υπόψη τα ακόλουθα όταν εργάζεστε με ποσοστώσεις Kafka:
- Επίπεδο επιβολής – Οι ποσοστώσεις επιβάλλονται σε επίπεδο μεσιτών και όχι σε επίπεδο συμπλέγματος. Ας υποθέσουμε ότι υπάρχουν έξι μεσίτες σε ένα σύμπλεγμα Kafka και καθορίζετε ένα όριο παραγωγής 12 MB/sec για ένα αναγνωριστικό πελάτη και ένα χρήστη. Η εφαρμογή παραγωγού που χρησιμοποιεί το αναγνωριστικό πελάτη και ο χρήστης μπορεί να παράγει το μέγιστο 12 MB/sec σε κάθε μεσίτη ταυτόχρονα, για ένα σύνολο έως 72 MB/sec και στους έξι μεσίτες. Ωστόσο, εάν η ηγεσία για κάθε διαμέρισμα ενός θέματος ανήκει σε έναν μεσίτη, η ίδια εφαρμογή παραγωγού μπορεί να παράγει μόνο έως και 12 MB/sec. Λόγω του γεγονότος ότι ο περιορισμός πραγματοποιείται ανά μεσίτη, είναι απαραίτητο να διατηρηθεί μια ομοιόμορφη ισορροπία μεταξύ της ηγεσίας των κατατμήσεων των θεμάτων σε όλους τους μεσίτες.
- στραγγαλισμός – Όταν μια εφαρμογή φτάσει στο όριο της, σβήνει, δεν αποτυγχάνει, που σημαίνει ότι ο μεσίτης δεν κάνει εξαίρεση. Οι πελάτες που επιτυγχάνουν την ποσόστωσή τους σε έναν μεσίτη θα αρχίσουν να αντιμετωπίζουν τα αιτήματά τους από τον μεσίτη για να αποφευχθεί η υπέρβαση της ποσόστωσης. Αντί να στείλει ένα σφάλμα όταν ένας πελάτης υπερβαίνει ένα όριο, ο μεσίτης προσπαθεί να το επιβραδύνει. Οι μεσίτες υπολογίζουν το ποσό της καθυστέρησης που απαιτείται για να θέσουν τους πελάτες σε ποσοστώσεις και καθυστερούν τις απαντήσεις ανάλογα. Ως αποτέλεσμα αυτής της προσέγγισης, οι παραβιάσεις των ορίων είναι διαφανείς για τους πελάτες και οι πελάτες δεν χρειάζεται να εφαρμόζουν ειδικές πολιτικές υποχώρησης ή επανάληψης. Ωστόσο, όταν χρησιμοποιείτε έναν ασύγχρονο παραγωγό και στέλνετε μηνύματα με ρυθμό μεγαλύτερο από αυτό που μπορεί να δεχτεί ο μεσίτης λόγω ορίου, τα μηνύματα θα μπουν πρώτα στην ουρά στη μνήμη της εφαρμογής πελάτη. Ο υπολογιστής-πελάτης θα εξαντληθεί τελικά ο χώρος αποθήκευσης εάν ο ρυθμός αποστολής μηνυμάτων συνεχίσει να υπερβαίνει τον ρυθμό αποδοχής μηνυμάτων, προκαλώντας το επόμενο
Producer.send()
κλήση για αποκλεισμό.Producer.send()
θα ρίξει τελικά αTimeoutException
εάν η καθυστέρηση χρονικού ορίου δεν είναι επαρκής για να επιτρέψει στον μεσίτη να καλύψει τη διαφορά της αίτησης του παραγωγού. - Κοινές ποσοστώσεις – Εάν περισσότερες από μία εφαρμογές πελάτη έχουν το ίδιο αναγνωριστικό πελάτη και χρήστη, το όριο που έχει διαμορφωθεί για το αναγνωριστικό πελάτη και τον χρήστη θα κοινοποιηθεί σε όλες αυτές τις εφαρμογές. Ας υποθέσουμε ότι ρυθμίζετε ένα όριο παραγωγής 5 MB/sec για το συνδυασμό των
client-id="marketing-producer-client"
καιuser="marketing-app-user"
. Σε αυτή την περίπτωση, όλες οι εφαρμογές παραγωγών που έχουνmarketing-producer-client
ως ταυτότητα πελάτη καιmarketing-app-user
ως πιστοποιημένο χρήστη Ο κύριος θα μοιραστεί το όριο παραγωγής των 5 MB/sec, επηρεάζοντας ο ένας την απόδοση του άλλου. - Παράγουν στραγγαλισμό – Η συμπεριφορά περιορισμού παραγωγής εκτίθεται στους πελάτες παραγωγών μέσω μετρήσεων πελατών, όπως π.χ
produce-throttle-time-avg
καιproduce-throttle-time-max
. Εάν αυτά δεν είναι μηδενικά, σημαίνει ότι οι μεσίτες προορισμού επιβραδύνουν τον παραγωγό και η διαμόρφωση των ποσοστώσεων πρέπει να επανεξεταστεί. - Καταναλώστε στραγγαλισμό – Η συμπεριφορά περιορισμού της κατανάλωσης εκτίθεται στους πελάτες-πελάτες μέσω μετρήσεων πελατών, όπως π.χ
fetch-throttle-time-avg
καιfetch-throttle-time-max
. Εάν αυτά δεν είναι μηδενικά, σημαίνει ότι οι μεσίτες προέλευσης επιβραδύνουν τον καταναλωτή και ότι η διαμόρφωση των ποσοστώσεων πρέπει να επανεξεταστεί.
Λάβετε υπόψη ότι οι μετρήσεις πελατών είναι μετρήσεις που εκτίθενται από πελάτες που συνδέονται σε συμπλέγματα Kafka.
- Διαμόρφωση ορίου – Είναι δυνατή η διαμόρφωση των ποσοστώσεων Kafka είτε στατικά μέσω του αρχείου διαμόρφωσης Kafka είτε δυναμικά μέσω
kafka-config.sh
ή το Kafka Admin API. Ο μηχανισμός δυναμικής διαμόρφωσης είναι πολύ πιο βολικός και διαχειρίσιμος, επειδή επιτρέπει τη διαμόρφωση ποσοστώσεων για τις νέες εφαρμογές παραγωγού και καταναλωτή ανά πάσα στιγμή χωρίς να χρειάζεται να επανεκκινήσετε τους μεσίτες. Ακόμη και όταν οι πελάτες εφαρμογών παράγουν ή καταναλώνουν δεδομένα, οι δυναμικές αλλαγές διαμόρφωσης ισχύουν σε πραγματικό χρόνο. - Πλήκτρα διαμόρφωσης - Με το
kafka-config.sh
εργαλείο γραμμής εντολών, μπορείτε να ορίσετε δυναμικά ποσοστά κατανάλωσης, παραγωγής και αιτήματος χρησιμοποιώντας τα ακόλουθα τρία κλειδιά διαμόρφωσης, αντίστοιχα:consumer_byte_rate
,producer_byte_rate
, ναrequest_percentage
.
Για περισσότερες πληροφορίες σχετικά με τις ποσοστώσεις Kafka, ανατρέξτε στο Τεκμηρίωση Κάφκα.
Επιβολή ορίων εύρους ζώνης δικτύου με έλεγχο πρόσβασης IAM
Ακολουθώντας την κατανόηση των ποσοστώσεων Kafka, ας δούμε πώς να τις επιβάλλουμε σε ένα σύμπλεγμα MSK ενώ χρησιμοποιείτε τον έλεγχο πρόσβασης IAM για έλεγχο ταυτότητας και εξουσιοδότηση. Ο έλεγχος πρόσβασης IAM στο Amazon MSK εξαλείφει την ανάγκη για δύο ξεχωριστούς μηχανισμούς για έλεγχο ταυτότητας και εξουσιοδότηση.
Το παρακάτω σχήμα δείχνει ένα σύμπλεγμα MSK που έχει ρυθμιστεί να χρησιμοποιεί τον έλεγχο πρόσβασης IAM στον δοκιμαστικό λογαριασμό. Κάθε εφαρμογή παραγωγού και καταναλωτή έχει ένα όριο που καθορίζει πόσα δεδομένα μπορούν να παράγουν ή να καταναλώνουν σε byte ανά δευτερόλεπτο. Για παράδειγμα, ProducerApp-1
έχει ποσόστωση παραγωγής του 1024 byte/sec, να ConsumerApp-1
και ConsumerApp-2
το καθένα έχει μια ποσόστωση κατανάλωσης 5120 και 1024 byte/sec, αντίστοιχα. Είναι σημαντικό να σημειωθεί ότι οι ποσοστώσεις Kafka ορίζονται στο σύμπλεγμα Kafka και όχι στις εφαρμογές πελάτη.
Το προηγούμενο σχήμα δείχνει πώς οι εφαρμογές πελάτη Kafka (ProducerApp-1
, ConsumerApp-1
, να ConsumerApp-2
) πρόσβαση Topic-B
στο σύμπλεγμα MSK υποθέτοντας εγγραφή και ανάγνωση ρόλων IAM. Η ροή εργασιών έχει ως εξής:
- P1 -
ProducerApp-1
(μέσω τουProducerApp-1-Role
ρόλος IAM) αναλαμβάνει τοTopic-B-Write-Role
Ρόλος IAM για αποστολή μηνυμάτωνTopic-B
στο σύμπλεγμα MSK. - P2 - Με το
Topic-B-Write-Role
Ο ρόλος του IAM αναλαμβάνεται,ProducerApp-1
αρχίζει να στέλνει μηνύματα σεTopic-B
. - C1 -
ConsumerApp-1
(μέσω τουConsumerApp-1-Role
ρόλος ΙΑΜ) καιConsumerApp-2
(μέσω τουConsumerApp-2-Role
ρόλος IAM) υποθέτουμε τοTopic-B-Read-Role
Ρόλος IAM για ανάγνωση μηνυμάτων απόTopic-B
στο σύμπλεγμα MSK. - C2 - Με το
Topic-B-Read-Role
Ο ρόλος του IAM αναλαμβάνεται,ConsumerApp-1
καιConsumerApp-2
αρχίστε να καταναλώνετε μηνύματα απόTopic-B
.
ConsumerApp-1
και ConsumerApp-2
είναι δύο ξεχωριστές καταναλωτικές εφαρμογές. Δεν ανήκουν στην ίδια ομάδα καταναλωτών.
Διαμόρφωση αναγνωριστικών πελατών και κατανόηση της αρχής ελέγχου ταυτότητας χρήστη
Όπως εξηγήθηκε προηγουμένως, τα ποσοστά Kafka μπορούν να διαμορφωθούν για συγκεκριμένους χρήστες, συγκεκριμένα αναγνωριστικά πελάτη ή και τα δύο. Ας εξερευνήσουμε ταυτότητα πελάτη και χρήστη έννοιες και διαμορφώσεις που απαιτούνται για την κατανομή ποσοστώσεων Kafka.
Αναγνωριστικό πελάτη
Ένα αναγνωριστικό πελάτη που αντιπροσωπεύει το λογικό όνομα μιας εφαρμογής μπορεί να διαμορφωθεί εντός του κώδικα μιας εφαρμογής. Σε εφαρμογές Java, για παράδειγμα, μπορείτε να ορίσετε τα αναγνωριστικά πελάτη του παραγωγού και του καταναλωτή χρησιμοποιώντας ProducerConfig.CLIENT_ID_CONFIG
και ConsumerConfig.CLIENT_ID_CONFIG
διαμορφώσεις, αντίστοιχα. Το παρακάτω απόσπασμα κώδικα δείχνει πώς ProducerApp-1
ορίζει το αναγνωριστικό πελάτη σε this-is-me-producerapp-1
χρησιμοποιώντας ProducerConfig.CLIENT_ID_CONFIG:
Χρήστες
Ο χρήστης αναφέρεται σε μια επαληθευμένη αρχή χρήστη της εφαρμογής πελάτη στο σύμπλεγμα Kafka με ενεργοποιημένη τον έλεγχο ταυτότητας. Όπως φαίνεται στην αρχιτεκτονική λύσεων, οι εφαρμογές παραγωγών και καταναλωτών υποθέτουν το Topic-B-Write-Role
και Topic-B-Read-Role
Ρόλους IAM, αντίστοιχα, για την εκτέλεση λειτουργιών εγγραφής και ανάγνωσης Topic-B
. Επομένως, ο έλεγχος ταυτότητας του κύριου χρήστη θα μοιάζει με το ακόλουθο αναγνωριστικό IAM:
Για περισσότερες πληροφορίες, ανατρέξτε στο Αναγνωριστικά IAM.
Η όνομα συνεδρίας ρόλου είναι ένα αναγνωριστικό συμβολοσειράς που προσδιορίζει μοναδικά μια περίοδο λειτουργίας όταν οι αρχές IAM, οι ομοσπονδιακές ταυτότητες ή οι εφαρμογές αναλαμβάνουν έναν ρόλο IAM. Στην περίπτωσή μας, ProducerApp-1
, ConsumerApp-1
, να ConsumerApp-2
Οι εφαρμογές αναλαμβάνουν έναν ρόλο IAM χρησιμοποιώντας το Υπηρεσία διακριτικών ασφαλείας AWS (AWS STS) SDK και δώστε ένα όνομα περιόδου λειτουργίας ρόλου στην κλήση AWS STS SDK. Για παράδειγμα, εάν ProducerApp-1
υποθέτει το Topic-B-Write-Role
Ρόλος και χρήσεις του IAM this-is-producerapp-1-role-session
Ως όνομα συνεδρίας ρόλου, η αρχή ελέγχου ταυτότητας χρήστη θα είναι η εξής:
Το παρακάτω είναι ένα παράδειγμα απόσπασμα κώδικα από το ProducerApp-1
εφαρμογή χρησιμοποιώντας this-is-producerapp-1-role-session
καθώς η όνομα συνεδρίας ρόλου ενώ υποθέτουμε ότι το Topic-B-Write-Role
Ρόλος IAM χρησιμοποιώντας το AWS STS SDK:
Διαμόρφωση ορίων εύρους ζώνης δικτύου (παραγωγή και κατανάλωση).
Οι ακόλουθες εντολές ρυθμίζουν τις παραμέτρους του παράγει και καταναλώνουν ποσοστώσεις δυναμικά για εφαρμογές πελατών με βάση τους ταυτότητα πελάτη και επικυρώθηκε χρήστη κύριο στο σύμπλεγμα MSK που έχει ρυθμιστεί με έλεγχο πρόσβασης IAM.
Ο ακόλουθος κώδικας διαμορφώνει το όριο παραγωγής:
Η producer_byes_rate
αναφέρεται στον αριθμό των μηνυμάτων, σε byte, από τα οποία προσδιορίζεται ένας πελάτης παραγωγού ταυτότητα πελάτη και χρήστη επιτρέπεται να παράγει σε έναν μόνο μεσίτη ανά δευτερόλεπτο. Η επιλογή --command-config
δείχνει προς config_iam.properties
, το οποίο περιέχει τις ιδιότητες που απαιτούνται για τον έλεγχο πρόσβασης IAM.
Ο ακόλουθος κώδικας διαμορφώνει το όριο κατανάλωσης:
Η consumer_bytes_rate
αναφέρεται στον αριθμό των μηνυμάτων, σε byte, από τα οποία αναγνωρίζεται ένας πελάτης καταναλωτή ταυτότητα πελάτη και χρήστη επιτρέπεται να καταναλώνουν από έναν μόνο μεσίτη ανά δευτερόλεπτο.
Ας δούμε μερικά παραδείγματα εντολών διαμόρφωσης ορίου για ProducerApp-1
, ConsumerApp-1
, να ConsumerApp-2
εφαρμογές πελάτη:
- Διαμόρφωση ορίου παραγωγής ProducerApp-1 – Ας υποθέσουμε
ProducerApp-1
έχειthis-is-me-producerapp-1
έχει ρυθμιστεί ως το αναγνωριστικό πελάτη στον κώδικα και τις χρήσεις της εφαρμογήςthis-is-producerapp-1-role-session
ως το όνομα της συνεδρίας ρόλου όταν υποθέτουμε τοTopic-B-Write-Role
ρόλος IAM. Η ακόλουθη εντολή ορίζει το όριο παραγωγής γιαProducerApp-1
έως 1024 byte ανά δευτερόλεπτο:
- ConsumerApp-1 διαμόρφωση ορίου κατανάλωσης – Ας υποθέσουμε
ConsumerApp-1
έχειthis-is-me-consumerapp-1
έχει ρυθμιστεί ως το αναγνωριστικό πελάτη στον κώδικα και τις χρήσεις της εφαρμογήςthis-is-consumerapp-1-role-session
ως το όνομα της συνεδρίας ρόλου όταν υποθέτουμε τοTopic-B-Read-Role
ρόλος IAM. Η ακόλουθη εντολή ορίζει το όριο κατανάλωσης γιαConsumerApp-1
έως 5120 byte ανά δευτερόλεπτο:
ConsumerApp-2 διαμόρφωση ορίου κατανάλωσης – Ας υποθέσουμε ConsumerApp-2
έχει this-is-me-consumerapp-2
έχει ρυθμιστεί ως το αναγνωριστικό πελάτη στον κώδικα και τις χρήσεις της εφαρμογής this-is-consumerapp-2-role-session
ως το όνομα της συνεδρίας ρόλου όταν υποθέτουμε το Topic-B-Read-Rol
e ΙΑΜ ρόλος. Η ακόλουθη εντολή ορίζει το όριο κατανάλωσης για ConsumerApp-2
έως 1024 byte ανά δευτερόλεπτο ανά μεσίτη:
Ως αποτέλεσμα των προηγούμενων εντολών, το ProducerApp-1
, ConsumerApp-1
, να ConsumerApp-2
Οι εφαρμογές-πελάτες θα περιοριστούν από το σύμπλεγμα MSK χρησιμοποιώντας τον έλεγχο πρόσβασης IAM εάν υπερβούν τις εκχωρημένες ποσοστώσεις παραγωγής και κατανάλωσης, αντίστοιχα.
Εφαρμόστε τη λύση
Μέρος 2 αυτής της σειράς παρουσιάζει τη λεπτομερή εφαρμογή βήμα προς βήμα της διαμόρφωσης ποσοστώσεων Kafka με τον έλεγχο πρόσβασης IAM μαζί με τις εφαρμογές δειγμάτων παραγωγού και καταναλωτή πελατών.
Συμπέρασμα
Οι ποσοστώσεις Kafka προσφέρουν στις ομάδες τη δυνατότητα να θέτουν όρια για εφαρμογές παραγωγών και καταναλωτών. Με το Amazon MSK, οι ποσοστώσεις Kafka εξυπηρετούν δύο σημαντικούς σκοπούς: την εξάλειψη των εικασιών και την πρόληψη προβλημάτων που προκαλούνται από κακοσχεδιασμένες εφαρμογές παραγωγών ή καταναλωτών με τον περιορισμό της ποσόστωσής τους και την κατανομή του λειτουργικού κόστους μιας κεντρικής πλατφόρμας δεδομένων ροής σε διαφορετικά κέντρα κόστους και ενοικιαστές (ομάδες εφαρμογών και προϊόντων ).
Σε αυτήν την ανάρτηση, μάθαμε πώς να διαμορφώνουμε τα όρια εύρους ζώνης δικτύου στο Amazon MSK ενώ χρησιμοποιούμε τον έλεγχο πρόσβασης IAM. Καλύψαμε επίσης ορισμένα δείγματα εντολών και αποσπάσματα κώδικα για να διευκρινίσουμε πώς χρησιμοποιούνται το αναγνωριστικό πελάτη και ο έλεγχος ταυτότητας κατά τη διαμόρφωση των ορίων. Αν και επιδείξαμε μόνο ποσοστώσεις Kafka χρησιμοποιώντας έλεγχο πρόσβασης IAM, μπορείτε επίσης να τις διαμορφώσετε χρησιμοποιώντας άλλους μηχανισμούς ελέγχου ταυτότητας που υποστηρίζονται από το Amazon MSK.
In Μέρος 2 αυτής της σειράς, δείχνουμε πώς να διαμορφώνετε ποσοστώσεις εύρους ζώνης δικτύου με έλεγχο πρόσβασης IAM στο Amazon MSK και σας παρέχουμε παραδείγματα εφαρμογών παραγωγού και καταναλωτή, ώστε να μπορείτε να τις δείτε σε δράση.
Δείτε τους παρακάτω πόρους για να μάθετε περισσότερα:
Σχετικά με το Συγγραφέας
Vikas Bajaj είναι Senior Manager, Solutions Architects, Financial Services στην Amazon Web Services. Έχοντας συνεργαστεί με οργανισμούς χρηματοοικονομικών υπηρεσιών και ψηφιακούς εγγενείς πελάτες, συμβουλεύει πελάτες χρηματοοικονομικών υπηρεσιών στην Αυστραλία σχετικά με τεχνολογικές αποφάσεις, αρχιτεκτονικές και οδικούς χάρτες προϊόντων.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- EVM Finance. Ενιαία διεπαφή για αποκεντρωμένη χρηματοδότηση. Πρόσβαση εδώ.
- Quantum Media Group. Ενισχυμένο IR/PR. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Data Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/multi-tenancy-apache-kafka-clusters-in-amazon-msk-with-iam-access-control-and-kafka-quotas-part-1/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 12
- 7
- 72
- 9
- a
- ικανότητα
- Σχετικα
- Αποδέχομαι
- την αποδοχή
- πρόσβαση
- συμφωνία
- Σύμφωνα με
- αναλόγως
- Λογαριασμός
- απέναντι
- Ενέργειες
- διαχειριστής
- συγκινητικός
- Όλα
- διατεθεί
- κατανομή
- επιτρέπουν
- Επιτρέποντας
- επιτρέπει
- κατά μήκος
- Επίσης
- Αν και
- Amazon
- Amazon υπηρεσίες Web
- μεταξύ των
- ποσό
- an
- και
- κάθε
- Apache
- Apache Kafka
- api
- Εφαρμογή
- εφαρμογές
- πλησιάζω
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- ανατεθεί
- υποτίθεται
- At
- Προσπάθειες
- Australia
- επικυρωμένο
- Πιστοποίηση
- εξουσιοδότηση
- αποφύγετε
- AWS
- Υπόλοιπο
- εύρος ζώνης
- βασίζονται
- BE
- επειδή
- αρχίζουν
- μπλοκαριστεί
- Bootstrap
- και οι δύο
- φέρω
- μεσίτης
- μεσίτες
- ρυθμιστικό
- χτίζω
- επιχείρηση
- by
- υπολογίσει
- κλήση
- CAN
- καπάκι
- περίπτωση
- πάλη
- προκαλούνται
- προκαλώντας
- Κέντρα
- κεντρικός
- προκλήσεις
- Αλλαγές
- πελάτης
- πελάτες
- συστάδα
- κωδικός
- συνδυασμός
- Ελάτε
- Κοινός
- πλήρης
- Συμμόρφωση
- έννοιες
- διαμόρφωση
- διαμορφώσεις
- έχει ρυθμιστεί
- Συνδετικός
- περιορισμούς
- καταναλώνουν
- καταναλώνεται
- καταναλωτής
- κατανάλωση
- Περιέχει
- συνεχίζεται
- συνεχής
- έλεγχος
- Βολικός
- Κόστος
- Δικαστικά έξοδα
- κάλυμμα
- καλύπτονται
- Πελάτες
- ημερομηνία
- Πλατφόρμα δεδομένων
- αποφάσεις
- αφιερωμένο
- ορίζεται
- delay
- Διαδήλωση
- αποδεικνύουν
- κατέδειξε
- σχεδιασμένα
- προορισμός
- λεπτομερής
- Προσδιορίστε
- καθορίζει
- διαφορετικές
- ψηφιακό
- συζητήσουν
- do
- Όχι
- Μην
- κάτω
- δυο
- δυναμικός
- δυναμικά
- κάθε
- Νωρίτερα
- αποτέλεσμα
- είτε
- εξαλείφει
- εξάλειψη
- ενεργοποιημένη
- επιβάλλω
- Ολόκληρος
- σφάλμα
- ουσιώδης
- Αιθέρας (ΕΤΗ)
- Even
- τελικά
- Κάθε
- παράδειγμα
- υπερβαίνω
- υπερβαίνει
- εξαίρεση
- εμπειρία
- Εξηγήστε
- εξήγησε
- διερευνήσει
- εκτεθειμένος
- γεγονός
- παράγοντες
- Απέτυχε
- λίγοι
- Εικόνα
- Αρχεία
- οικονομικός
- των χρηματοπιστωτικών υπηρεσιών
- Όνομα
- Εξής
- εξής
- Για
- από
- παράγουν
- μεγαλύτερη
- Group
- Έχω
- που έχει
- he
- Ψηλά
- Πως
- Πώς να
- Ωστόσο
- HTML
- http
- HTTPS
- IAM
- ID
- προσδιορίζονται
- αναγνωριστικό
- αναγνωρίζει
- προσδιορίσει
- ταυτότητες
- Ταυτότητα
- ids
- if
- απεικονίζει
- επιπτώσεις
- εφαρμογή
- εκτέλεση
- σημαντικό
- in
- υποδηλώνει
- ατομικές
- πληροφορίες
- αντί
- σε
- Εισαγωγή
- θέματα
- IT
- ΤΟΥ
- Java
- jpg
- Kafka
- πλήκτρα
- large
- Ηγεσία
- ΜΑΘΑΊΝΩ
- μάθει
- Επίπεδο
- Μου αρέσει
- περιορίζοντας
- όρια
- λογικός
- ματιά
- μοιάζει
- διατηρήσουν
- κάνω
- διαχείριση
- διαχειρίζεται
- διευθυντής
- ύλη
- max
- Ενδέχεται..
- νόημα
- μετράται
- μηχανισμός
- μηχανισμούς
- Μνήμη
- μηνύματα
- Metrics
- νου
- περισσότερο
- πολύ
- πολλαπλούς
- όνομα
- ντόπιος
- απαραίτητος
- Ανάγκη
- δίκτυο
- Νέα
- επόμενη
- σημείωση
- αριθμός
- of
- προσφορά
- on
- ONE
- αποκλειστικά
- επιχειρήσεων
- λειτουργίες
- Επιλογή
- or
- τάξη
- επιχειρήσεις
- οργανώσεις
- Προέλευση
- ΑΛΛΑ
- δικός μας
- έξω
- διακοπή λειτουργίας
- μέρος
- πρότυπο
- ποσοστό
- εκτελέσει
- επίδοση
- περίοδος
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Δοκιμάστε να παίξετε
- σημεία
- Πολιτικές
- δυνατότητα
- δυνατός
- Θέση
- πρόληψη
- πρόληψη
- Κύριος
- διαδικασια μας
- μεταποίηση
- παράγει
- Παράγεται
- παραγωγός
- παράγει
- Προϊόν
- ιδιότητες
- παρέχουν
- σκοποί
- Τιμή
- μάλλον
- φθάσουν
- Φτάνει
- Διάβασε
- πραγματικός
- σε πραγματικό χρόνο
- αναφέρεται
- περιοχή
- εκπροσωπούν
- αντιπροσωπεύει
- ζητήσει
- αιτήματα
- απαιτείται
- απαιτήσεις
- πόρος
- Υποστηρικτικό υλικό
- απαντήσεις
- αποτέλεσμα
- αξιολόγηση
- οδικούς χάρτες
- Ρόλος
- ρόλους
- τρέξιμο
- ίδιο
- σενάρια
- SDK
- Δεύτερος
- προστατευμένο περιβάλλον
- ασφάλεια
- σημείωμα ασφαλείας
- δείτε
- στείλετε
- αποστολή
- αρχαιότερος
- αποστέλλονται
- ξεχωριστό
- Σειρές
- εξυπηρετούν
- Διακομιστές
- Υπηρεσίες
- Συνεδρίαση
- σειρά
- Σέτς
- Κοινοποίηση
- Shared
- θα πρέπει να
- παρουσιάζεται
- Δείχνει
- ταυτοχρόνως
- ενιαίας
- ΕΞΙ
- επιβραδύνουν
- Αναστροφή
- So
- λύση
- Λύσεις
- μερικοί
- Χώρος
- ειδική
- συγκεκριμένες
- ειδικά
- Εκκίνηση
- Βήματα
- ροής
- Σπάγγος
- τέτοιος
- επαρκής
- υποστηριζόνται!
- βέβαιος
- Πάρτε
- ομάδες
- Τεχνολογία
- από
- ότι
- Η
- τους
- Τους
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- αυτό
- εκείνοι
- τρία
- Μέσω
- διακίνηση
- ώρα
- προς την
- ένδειξη
- εργαλείο
- τοπικός
- Σύνολο
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- διαφανής
- δύο
- τύποι
- συνήθως
- υπό
- κατανόηση
- μοναδικώς
- Χρήση
- χρήση
- μεταχειρισμένος
- Χρήστες
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- πολύ
- μέσω
- Παραβιάσεις
- όγκους
- we
- ιστός
- διαδικτυακές υπηρεσίες
- Τι
- πότε
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- θα
- με
- εντός
- χωρίς
- εργάστηκαν
- ροής εργασίας
- εργαζόμενος
- γράφω
- εσείς
- zephyrnet