Παρατηρησιμότητα: Ιχνηλασιμότητα για κατανεμημένα συστήματα

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Περιμένατε ποτέ αυτό το ακριβό δέμα που δείχνει "αποστέλλεται", αλλά δεν έχετε ιδέα πού βρίσκεται; Το ιστορικό παρακολούθησης σταμάτησε να ενημερώνεται πριν από πέντε ημέρες και έχετε σχεδόν χάσει την ελπίδα σας. Αλλά περιμένετε, 11 μέρες αργότερα, το έχετε στο κατώφλι σας. Ευχόσασταν η ιχνηλασιμότητα να ήταν καλύτερη για να σας απαλλάξει από όλη την αγωνιώδη αναμονή. Εδώ παίζει ρόλο η «παρατηρησιμότητα».

Σε ένα τεχνικό τοπίο, θα θέλατε να αποφύγετε να συμβεί αυτό στο λογισμικό ή τα συστήματα δεδομένων σας. Και ως εκ τούτου, υιοθετείτε εργαλεία παρακολούθησης, τα οποία συλλέγουν τα αρχεία καταγραφής και τις μετρήσεις των συστημάτων σας και σας ενημερώνουν για την εσωτερική τους κατάσταση. Η παρακολούθηση λειτουργεί καλύτερα όταν θέλετε τα συστήματά σας να σας ενημερώνουν για το ποιο είναι το σφάλμα, πού και πότε συνέβη, αλλά δεν σας λέει πώς να επιλύσετε το σφάλμα.

Πριν από περισσότερο από μια δεκαετία, τα εργαλεία παρακολούθησης δεν είχαν το πλαίσιο και την πρόβλεψη των υποκείμενων ζητημάτων του συστήματος και οι ομάδες θα περιορίζονταν στον εντοπισμό σφαλμάτων καθημερινών λειτουργικών σφαλμάτων. Σήμερα, εργαζόμαστε και ζούμε σε έναν κατανεμημένο κόσμο μικροϋπηρεσιών και σωληνώσεις δεδομένων; Ακόμη και η χρήση πολλαπλών εργαλείων παρακολούθησης δεν θα σας βοηθήσει να απαντήσετε σε ερωτήσεις της επιχείρησής σας όπως "Γιατί η εφαρμογή μου είναι πάντα αργή;" ή "Σε ποιο στάδιο προέκυψε το πρόβλημα και πόσο βαθιά βρίσκεται στη στοίβα;" ή "Πώς μπορώ να βελτιώσω τη συνολική απόδοση του περιβάλλοντος;" Είναι απαραίτητο να είστε προορατικοί στη λήψη αυτών των αποφάσεων και να έχετε συνολική ορατότητα των συστημάτων, των εφαρμογών και των δεδομένων σας.

Αυτός ο διαλογισμός στα ανάρτηση από το Etsy δημοσιεύτηκε πριν από μια δεκαετία και αναφέρει το ίδιο το γεγονός στη δεύτερη παράγραφο:

«Οι μετρήσεις εφαρμογών είναι συνήθως οι πιο δύσκολες, αλλά και οι πιο σημαντικές από τις τρεις. Είναι πολύ συγκεκριμένα για την επιχείρησή σας και αλλάζουν καθώς αλλάζουν οι εφαρμογές σας (και το Etsy αλλάζει πολύ).»

Λοιπόν, πώς μετράμε τα πάντα και οτιδήποτε; Ξεκινάμε με την παρατηρησιμότητα.

Τι είναι η παρατηρησιμότητα;

Ο όρος «παρατηρησιμότητα» ήταν εφευρέθηκε από τον Rudolf Emil Kálmán το 1960 στη μηχανική του εργασία για την περιγραφή των μαθηματικών συστημάτων ελέγχου. Το όρισε ως ένα μέτρο του πόσο καλά μπορούν να συναχθούν οι εσωτερικές καταστάσεις ενός συστήματος από τη γνώση των εξωτερικών εξόδων του. Αλλά δεν ακούγεται σαν παρακολούθηση; Βασικά, ναι, είναι παρακολούθηση.

Αυτές τις μέρες, η παρατηρητικότητα έχει γίνει αρκετά καυτό θέμα. Σύμφωνα με διάφορες έρευνες αγοράς, πρόκειται για μια πλατφόρμα δισεκατομμυρίων δολαρίων. Πολλοί οργανισμοί έχουν υιοθετήσει την ιδέα και την έχουν χρησιμοποιήσει ως πλαίσιο για την προβολή από άκρο σε άκρο των κατανεμημένων συστημάτων και αγωγών τους. Ωστόσο, η παρατηρησιμότητα συγχέεται με την παρακολούθηση. Προς το παρόν, μπορώ να πω ότι η παρακολούθηση είναι ένα υποσύνολο της παρατηρησιμότητας, όπου η παρατηρησιμότητα είναι ένας μεγάλος όρος-ομπρέλα.

Η παρατηρησιμότητα επιτρέπει την κατανεμημένη ανίχνευση μέσω συλλογής και συγκέντρωσης ιχνών, αρχείων καταγραφής και μετρήσεων. Ας δούμε τι συμπεραίνουν αυτά:

Ίχνη: Όταν ένα σύστημα λαμβάνει ένα αίτημα, τα ίχνη σάς λένε πώς αυτό το αίτημα ρέει, σε όλο τον κύκλο ζωής του, από την πηγή στον προορισμό. Τα ίχνη αντιπροσωπεύονται από "άνοιγμα". Ένα ίχνος είναι ένα δέντρο με ανοίγματα και ένα άνοιγμα είναι μια μεμονωμένη λειτουργία μέσα σε ένα ίχνος. Σας βοηθούν να εντοπίσετε σφάλματα, καθυστερήσεις ή σημεία συμφόρησης στο σύστημα.
Αρχεία καταγραφής: Αυτά είναι συμβάντα με χρονική σήμανση που δημιουργούνται από μηχανή και σας ενημερώνουν για τις λειτουργίες ή τις αλλαγές που συνέβησαν στο σύστημα. Τα αρχεία καταγραφής χρησιμοποιούνται συχνά για την αναζήτηση αυτών των σφαλμάτων ή αλλαγών στο σύστημα.
Μετρήσεις: Αυτά παρέχουν ποσοτικές πληροφορίες σχετικά με τη CPU, τη μνήμη, τη χρήση του δίσκου και την απόδοση του συστήματος σε μια χρονική περίοδο.

Αυτά τα χαρακτηριστικά ενισχύουν το πλαίσιο παρακολούθησης με ιχνηλασιμότητα. Η ιχνηλασιμότητα σάς παρέχει τους φακούς για να ανιχνεύσετε ένα αίτημα που κάνει μια κλήση στο σύστημά σας, πόσος χρόνος χρειάζεται για τη μετάβαση από το ένα στοιχείο στο άλλο, ποιες άλλες υπηρεσίες καλεί, παρουσιάζει κάποιο σφάλμα, ποια αρχεία καταγραφής παράγει, ποια κατάσταση είναι μέσα, πότε ξεκίνησε και πότε τελείωσε, ποιο είναι το χρονοδιάγραμμα που παρέμεινε στο σύστημά σας κ.λπ. Όταν συλλέγετε, συγκεντρώνετε και αναλύετε αυτά τα ίχνη, μπορείτε να λαμβάνετε πολύτιμες ενημερωμένες αποφάσεις, όπως το χρονοδιάγραμμα πελατών σε έναν ιστότοπο ηλεκτρονικού εμπορίου , πόσος χρόνος τους πήρε για να αναζητήσουν ένα προϊόν, πόσο καιρό είδαν το προϊόν, αν η σελίδα HTML φόρτωσε τις πλήρεις λεπτομέρειες όπως εικόνες ή ενσωματωμένα βίντεο, πόσος χρόνος χρειάστηκε το σύστημα για τον έλεγχο ταυτότητας και την επεξεργασία της πληρωμής κ.λπ.

Τι επιτυγχάνουμε με την παρατηρησιμότητα σε ένα κατανεμημένο περιβάλλον;

Η εξέλιξη των κατανεμημένων συστημάτων ξεκίνησε όταν οι οργανισμοί άρχισαν να απομακρύνονται από την κεντρική μονολιθική αρχιτεκτονική τους σε μια κατανεμημένη και αποκεντρωμένη αρχιτεκτονική μικροϋπηρεσιών. Και αυτό είναι ακόμα ένα έργο σε εξέλιξη όπου πολλοί οργανισμοί ενστερνίζονται τη φύση μικροϋπηρεσιών των συστημάτων και των εφαρμογών. Και όλα αυτά μπορούν να αποδοθούν μεγάλα δεδομένα και κλιμάκωση. Η διαχείριση ενός κατανεμημένου περιβάλλοντος απαιτεί συνεχή μάθηση, πρόσθετο εργατικό δυναμικό, αλλαγές σε πλαίσια και πολιτικές, διαχείριση πληροφορικής και ούτω καθεξής. Είναι πράγματι μια μεγάλη αλλαγή.

Νωρίτερα, στο περιορισμένο μονολιθικό περιβάλλον, το υλικό, το λογισμικό, τα δεδομένα και οι βάσεις δεδομένων ζούσαν όλα κάτω από μια, ενιαία στέγη. Με την έλευση των μεγάλων δεδομένων στη δεκαετία του 2000, τα συστήματα παρακολούθησης και κλιμάκωσης άρχισαν να αποτελούν τεράστια ανησυχία. Συχνά, οι οργανισμοί χρησιμοποιούσαν διαφορετικά εργαλεία παρακολούθησης για να καλύψουν τις ανάγκες των διαφόρων εφαρμογών τους. Ως αποτέλεσμα, έγινε σύντομα ένα λειτουργικό γενικό κόστος με χαμηλή ανθεκτικότητα, ορατότητα και αξιοπιστία.

Όλα αυτά τα ζητήματα οδήγησαν στην υιοθέτηση της παρατηρησιμότητας. Σήμερα, υπάρχουν πολλαπλά εργαλεία παρατηρητικότητας για αγωγούς ασφάλειας, δικτύου, εφαρμογών και δεδομένων για κατανεμημένη ανίχνευση σε ένα πολύπλοκο περιβάλλον. Συνυπάρχουν με τον ξάδερφό τους, τα εργαλεία παρακολούθησης, και παίρνουν το μοχλό συλλογής των πληροφοριών από τον ξάδερφό τους και συγκεντρώνουν πρόσθετες πληροφορίες από τα δικά του δεδομένα ιχνών.

Υπάρχουν πολλά κινούμενα εξαρτήματα σε όλα αυτά τα συστήματα, τα ίχνη των οποίων όταν καταγράφονται, μπορούν να απεικονίσουν την ιστορία των 5 Ws: πότε, πού, γιατί, τι και πώς. Για παράδειγμα, πηγαίνετε στον ιστότοπο της DATAVERSITY στις 1:43 μ.μ. για να διαβάσετε ορισμένες αναρτήσεις ιστολογίου. Όταν επισκέπτεστε το dataversity.net, το αίτημα HTTP συνδέεται στο σύστημα. Ξεκινάτε την αναζήτηση για μια ανάρτηση ιστολογίου και πηγαίνετε σε μια ανάρτηση Διακυβέρνησης δεδομένων, όπου αφιερώνετε 17 λεπτά για να διαβάσετε αυτήν την ανάρτηση και μετά κλείνετε την καρτέλα σας στις 2:00 μ.μ.

Θα γίνουν επίσης και άλλες κλήσεις στο σύστημα δικτύου για τη λήψη πακέτων δικτύου. Τα εργαλεία παρατηρητικότητας συλλέγουν όλα τα ανοίγματα και τα ενοποιούν σε ένα ίχνος ή ίχνη, επιτρέποντάς σας να δείτε τη διαδρομή που διαμόρφωσε κατά τη διάρκεια του κύκλου ζωής του. Εάν αντιμετωπίζετε πρόβλημα όπως λανθάνουσα κατάσταση δικτύου ή ελάττωμα του συστήματος, είναι πλέον ευκολότερο να αναλύσετε (ξεφλουδίσετε το κρεμμύδι) και να διορθώσετε το πρόβλημα (σφάλμα σε ποιο επίπεδο).

Τώρα σε ένα μεγάλο κατανεμημένο περιβάλλον, όταν οι εφαρμογές σας λαμβάνουν εκατομμύρια αιτήματα, τα δεδομένα ιχνών μεγαλώνουν σε τεράστιο όγκο. Η συλλογή και η ανάλυση αυτών των ιχνών είναι δαπανηρή για κατανάλωση αποθήκευσης και μεταφορά δεδομένων. Έτσι, για εξοικονόμηση κόστους, γίνεται δειγματοληψία των δεδομένων ανίχνευσης, επειδή στις περισσότερες περιπτώσεις, οι ομάδες μηχανικών χρειάζονται μόνο μερικά από τα κομμάτια για να διερευνήσουν τι πήγε στραβά ή ποιο είναι το μοτίβο σφάλματος.

Με αυτό το μικρό παράδειγμα, καταλαβαίνουμε ότι έχουμε πολύ βαθύτερες γνώσεις για τα συστήματά μας. Έτσι, λαμβάνοντας υπόψη μια μεγαλύτερη κλίμακα συστημάτων, οι ομάδες μηχανικών μπορούν να συλλάβουν και να εργαστούν πάνω στα δεδομένα του δείγματος για να βελτιώσουν την τρέχουσα δομή του συστήματος, να εφαρμόσουν ή να αποσύρουν νέα στοιχεία, να προσθέσουν ένα άλλο επίπεδο ασφαλείας, να αφαιρέσουν τα σημεία συμφόρησης κ.λπ.

Πρέπει οι Οργανισμοί να επιλέξουν Παρατηρησιμότητα;

Όλοι πρέπει να καταλάβουμε ότι οι τελικοί στόχοι είναι η καλύτερη εμπειρία χρήστη και η μεγαλύτερη ικανοποίηση των χρηστών. Και ο δρόμος για την επίτευξη αυτών των στόχων μπορεί να γίνει ευκολότερος με ένα αυτοματοποιημένο και προληπτικό πλαίσιο παρατηρητικότητας. Η δημιουργία μιας κουλτούρας συνεχούς βελτίωσης και βελτιστοποίησης θεωρείται η βέλτιστη επιχειρηματική και ηγετική προσέγγιση.

Σε αυτήν την εποχή του ψηφιακού μετασχηματισμού, η παρατηρητικότητα έχει γίνει απαραίτητο για μια επιχείρηση να είναι επιτυχημένη στο ψηφιακό της ταξίδι. Παρέχοντάς σας διορατικά ίχνη, η παρατηρησιμότητα σάς κάνει να είστε ενημερωμένοι και όχι μόνο με γνώμονα τα δεδομένα.

Συμπέρασμα

Αν και χρησιμοποιήσαμε τους όρους παρακολούθηση και παρατηρησιμότητα εναλλακτικά, είδαμε ότι ενώ η παρακολούθηση σάς βοηθά με πληροφορίες σχετικά με την υγεία του συστήματος και τα γεγονότα που συμβαίνουν σε αυτό, η παρατηρησιμότητα σάς διευκολύνει να βγάλετε συμπεράσματα με βάση στοιχεία που συλλέγονται από βαθύτερα στρώματα ενός άκρου περιβάλλον προς το τέλος.

Η παρατηρησιμότητα είναι και μπορεί επίσης να εκληφθεί ως στοιχείο του πλαισίου Διακυβέρνησης Δεδομένων. Σε αυτήν τη γενιά, όπου ο συνεχώς αυξανόμενος όγκος δεδομένων βρίσκεται σε ένα δίκτυο εμπορευμάτων υλικού, είναι ζωτικής σημασίας να διατηρούνται οι αρχιτεκτονικές όσο το δυνατόν απλούστερες. Και προφανώς, η διαχείριση του περιβάλλοντος στη συνέχεια καθίσταται αδύνατο. Ως εκ τούτου, η εφαρμογή κατάλληλων και αυτοματοποιημένων πολιτικών και κανόνων διακυβέρνησης για να διατηρήσετε ακατάστατο το μεγάλο πλέγμα συστημάτων, αγωγών και δεδομένων σας απαιτεί δράση νωρίτερα παρά αργότερα.