Τι νέο υπάρχει στο Amazon Redshift – 2021, ένα έτος σε ανασκόπηση

Amazon RedShift είναι η αποθήκη δεδομένων cloud της επιλογής για δεκάδες χιλιάδες πελάτες που το χρησιμοποιούν για να αναλύσουν exabytes δεδομένων για να αποκτήσουν επιχειρηματικές γνώσεις. Οι πελάτες έχουν ζητήσει περισσότερες δυνατότητες στο Redshift για να διευκολύνουν, πιο γρήγορα και με ασφάλεια την αποθήκευση, την επεξεργασία και την ανάλυση όλων των δεδομένων τους. Ανακοινώσαμε το Redshift το 2012 ως την πρώτη αποθήκη δεδομένων cloud για την άρση της πολυπλοκότητας σχετικά με την παροχή, τη διαχείριση και την κλιμάκωση των αποθηκών δεδομένων. Έκτοτε, έχουμε κυκλοφορήσει δυνατότητες όπως η κλιμάκωση ταυτόχρονης χρήσης, το φάσμα και οι κόμβοι RA3 για να βοηθήσουμε τους πελάτες να αναλύσουν όλα τα δεδομένα τους και να υποστηρίξουν τις αυξανόμενες απαιτήσεις αναλυτικών στοιχείων σε όλους τους χρήστες στον οργανισμό. Συνεχίζουμε να καινοτομούμε με το Redshift για λογαριασμό των πελατών μας και λανσάραμε περισσότερες από 50 σημαντικές λειτουργίες το 2021. Αυτή η ανάρτηση καλύπτει ορισμένες από αυτές τις δυνατότητες, συμπεριλαμβανομένων περιπτώσεων χρήσης και πλεονεκτημάτων.

Αντίστροφα από τις απαιτήσεις των πελατών, επενδύουμε στο Redshift για να αναδείξουμε νέες δυνατότητες σε τρεις κύριους τομείς:

1. Εύκολες αναλύσεις για όλους
2. Αναλύστε όλα τα δεδομένα σας
3. Απόδοση σε οποιαδήποτε κλίμακα

Οι πελάτες μας είπαν ότι οι χρήστες της αποθήκης δεδομένων στους οργανισμούς τους επεκτείνονται από διαχειριστές, προγραμματιστές, αναλυτές και επιστήμονες δεδομένων στους χρήστες του Line of Business (LoB), επομένως συνεχίζουμε να επενδύουμε για να κάνουμε το Redshift πιο εύχρηστο για όλους. Οι πελάτες μας είπαν επίσης ότι θέλουν να απελευθερωθούν από τα σιλό δεδομένων και να έχουν πρόσβαση σε δεδομένα από τις λίμνες δεδομένων, τις βάσεις δεδομένων και τις αποθήκες δεδομένων τους και να αναλύσουν αυτά τα δεδομένα με SQL και μηχανική εκμάθηση (ML). Επομένως, συνεχίζουμε να επενδύουμε στο να επιτρέπουμε στους πελάτες να αναλύουν όλα τα δεδομένα τους. Και τέλος, οι πελάτες μας είπαν ότι θέλουν την καλύτερη απόδοση τιμής για αναλυτικά στοιχεία σε οποιαδήποτε κλίμακα από Terabytes έως Petabytes δεδομένων. Έτσι συνεχίζουμε να αναδεικνύουμε νέες δυνατότητες για απόδοση σε οποιαδήποτε κλίμακα. Ας βουτήξουμε σε κάθε έναν από αυτούς τους πυλώνες και ας καλύψουμε τις βασικές δυνατότητες που ξεκινήσαμε το 2021.

Το Redshift προσφέρει εύκολα αναλυτικά στοιχεία για όλους

Η εύκολη ανάλυση για όλους απαιτεί απλούστερη εμπειρία εκκίνησης, αυτοματοποιημένη διαχειρισιμότητα και οπτικές διεπαφές χρήστη που καθιστούν ευκολότερη, απλούστερη και ταχύτερη τόσο για τεχνικούς όσο και για μη τεχνικούς χρήστες να ξεκινούν γρήγορα, να χειρίζονται και να αναλύουν δεδομένα σε μια αποθήκη δεδομένων . Παρουσιάσαμε νέες δυνατότητες όπως Redshift Serverless (σε προεπισκόπηση), Query Editor V2 και αυτοματοποιημένες υλοποιημένες προβολές (σε προεπισκόπηση), καθώς και βελτιώσαμε το Data API το 2021 για να διευκολύνουμε τους πελάτες να λειτουργούν τις αποθήκες δεδομένων τους.

Redshift Serverless (σε προεπισκόπηση) καθιστά εύκολη την εκτέλεση και την κλιμάκωση των αναλυτικών στοιχείων σε δευτερόλεπτα χωρίς να χρειάζεται να παρέχει και να διαχειρίζεται συμπλέγματα αποθήκης δεδομένων. Η επιλογή χωρίς διακομιστή επιτρέπει σε όλους τους χρήστες, συμπεριλαμβανομένων των αναλυτών δεδομένων, των προγραμματιστών, των επιχειρησιακών χρηστών και των επιστημόνων δεδομένων να χρησιμοποιούν το Redshift για να λάβουν πληροφορίες από δεδομένα σε δευτερόλεπτα, απλά φορτώνοντας και υποβάλλοντας ερωτήματα σε δεδομένα στην αποθήκη δεδομένων. Οι πελάτες μπορούν να ξεκινήσουν μια αποθήκη δεδομένων και να ξεκινήσουν την ανάλυση των δεδομένων με την επιλογή Redshift Serverless με μερικά μόνο κλικ στο Κονσόλα διαχείρισης AWS. Δεν χρειάζεται να επιλέξετε τύπους κόμβων, πλήθος κόμβων ή άλλες διαμορφώσεις. Οι πελάτες μπορούν να επωφεληθούν από προφορτωμένα σύνολα δειγμάτων δεδομένων μαζί με δείγματα ερωτημάτων για να ξεκινήσουν άμεσα τα αναλυτικά στοιχεία. Μπορούν να δημιουργήσουν βάσεις δεδομένων, σχήματα, πίνακες και να φορτώσουν τα δικά τους δεδομένα από την επιφάνεια εργασίας τους, Amazon Simple Storage Service (S3), μέσω κοινοποιήσεων δεδομένων Amazon Redshift ή επαναφέρετε ένα υπάρχον στιγμιότυπο συμπλέγματος που παρέχεται από το Amazon Redshift. Μπορούν επίσης να αναζητήσουν απευθείας δεδομένα σε ανοιχτές μορφές, όπως Parquet ή ORC, στις λίμνες δεδομένων Amazon S3 τους, καθώς και δεδομένα στις επιχειρησιακές βάσεις δεδομένων τους, όπως π.χ. Amazon-Aurora και Amazon RDS. Οι πελάτες πληρώνουν μόνο για ό,τι χρησιμοποιούν και μπορούν να διαχειριστούν το κόστος τους με αναλυτικούς ελέγχους κόστους.

Redshift Query Editor V2 είναι ένα διαδικτυακό εργαλείο για αναλυτές δεδομένων, επιστήμονες δεδομένων και προγραμματιστές βάσεων δεδομένων για να εξερευνήσουν, να αναλύσουν και να συνεργαστούν σε δεδομένα σε αποθήκες δεδομένων Redshift και στη λίμνη δεδομένων. Οι πελάτες μπορούν να χρησιμοποιήσουν την οπτική διεπαφή του Query Editor για να δημιουργήσουν και να περιηγηθούν σε σχήματα και πίνακες, να φορτώσουν δεδομένα, να συντάξουν ερωτήματα SQL και αποθηκευμένες διαδικασίες και να οπτικοποιήσουν τα αποτελέσματα των ερωτημάτων με γραφήματα. Μπορούν να μοιράζονται και να συνεργάζονται σε ερωτήματα και αναλύσεις, καθώς και αλλαγές κομματιού με ενσωματωμένο έλεγχο έκδοσης. Το Query Editor V2 υποστηρίζει επίσης Σημειωματάρια SQL (σε προεπισκόπηση), η οποία παρέχει μια νέα διεπαφή Σημειωματάριου που επιτρέπει σε χρήστες όπως αναλυτές δεδομένων και επιστήμονες δεδομένων να συντάσσουν ερωτήματα, να οργανώνουν πολλαπλά ερωτήματα SQL και σχολιασμούς σε ένα μόνο έγγραφο και να συνεργάζονται με τα μέλη της ομάδας τους μοιράζοντας Σημειωματάρια.

Οι πελάτες χρησιμοποιούν εδώ και καιρό το Amazon Redshift υλοποιημένες απόψεις (MV) για προυπολογισμένα σύνολα αποτελεσμάτων, με βάση ένα ερώτημα SQL σε έναν ή περισσότερους πίνακες βάσης για τη βελτίωση της απόδοσης ερωτημάτων, ιδιαίτερα για ερωτήματα που χρησιμοποιούνται συχνά, όπως αυτά στους πίνακες εργαλείων και τις αναφορές. Το 2021 ξεκινήσαμε Αυτοματοποιημένη Υλοποιημένη Προβολή (AutoMV) σε προεπισκόπηση για τη βελτίωση της απόδοσης των ερωτημάτων (μείωση του συνολικού χρόνου εκτέλεσης) χωρίς καμία προσπάθεια χρήστη, δημιουργώντας και διατηρώντας αυτόματα υλοποιημένες προβολές. Οι πελάτες μας είπαν ότι ενώ τα MV προσφέρουν σημαντικά πλεονεκτήματα απόδοσης, η ανάλυση του σχήματος, των δεδομένων και του φόρτου εργασίας για να καθοριστεί ποια ερωτήματα θα μπορούσαν να ωφεληθούν από την ύπαρξη ενός MV ή ποια MV δεν είναι πλέον επωφελή και πρέπει να απορριφθούν απαιτεί γνώση, χρόνο και προσπάθεια. Το AutoMV επιτρέπει στο Redshift να παρακολουθεί συνεχώς το σύμπλεγμα για να προσδιορίζει τα υποψήφια MV και να αξιολογεί τα οφέλη έναντι του κόστους. Δημιουργεί MV που έχουν υψηλές αναλογίες οφέλους προς κόστος, ενώ διασφαλίζει ότι ο υπάρχων φόρτος εργασίας δεν επηρεάζεται αρνητικά από αυτή τη διαδικασία. Το AutoMV παρακολουθεί συνεχώς το σύστημα και θα απορρίψει MV που δεν είναι πλέον ωφέλιμα. Όλα αυτά είναι διαφανή για τους χρήστες και τις εφαρμογές. Εφαρμογές όπως οι πίνακες εργαλείων επωφελούνται χωρίς καμία αλλαγή κώδικα χάρη σε αυτόματη επανεγγραφή ερωτήματος, το οποίο επιτρέπει στα υπάρχοντα ερωτήματα να επωφελούνται από τα MV ακόμη και όταν δεν αναφέρονται ρητά. Οι πελάτες μπορούν επίσης να ρυθμίσουν τα MVs σε αυτόματη ανανέωση ώστε τα MV να έχουν πάντα ενημερωμένα δεδομένα για μεγαλύτερη ευκολία.

Οι πελάτες μας ζήτησαν επίσης να απλοποιήσουμε και να αυτοματοποιήσουμε τις εργασίες συντήρησης της αποθήκης δεδομένων, όπως ο σχεδιασμός σχημάτων ή πινάκων, ώστε να μπορούν να έχουν τη βέλτιστη απόδοση από τα συμπλέγματά τους. Τα τελευταία χρόνια, έχουμε επενδύσει πολλά για να αυτοματοποιήσουμε αυτές τις εργασίες συντήρησης. Για παράδειγμα, το Automatic Table Optimization (ATO) επιλέγει τα κλειδιά καλύτερης ταξινόμησης και διανομής για να καθορίσει τη βέλτιστη φυσική διάταξη των δεδομένων για μεγιστοποίηση της απόδοσης. Επεκτείναμε το ATO για να τροποποιήσουμε τις κωδικοποιήσεις συμπίεσης στηλών για να επιτύχουμε υψηλή απόδοση και να μειώσουμε τη χρήση του αποθηκευτικού χώρου. Έχουμε επίσης εισαγάγει διάφορες λειτουργίες, όπως η αυτόματη διαγραφή κενού και η αυτόματη ανάλυση, τα τελευταία χρόνια για να διασφαλίσουμε ότι οι αποθήκες δεδομένων πελατών συνεχίζουν να λειτουργούν με κορυφαία απόδοση.

API δεδομένων, που κυκλοφόρησε το 2020, έχει επίσης δει σημαντικές βελτιώσεις, όπως εκτέλεση ερωτήματος πολλαπλών δηλώσεων, υποστήριξη παραμέτρων για την ανάπτυξη επαναχρησιμοποιήσιμου κώδικα και διαθεσιμότητα σε περισσότερες περιοχές το 2021 για να διευκολυνθεί η πρόσβαση των πελατών μέσω προγραμματισμού στα δεδομένα στο Redshift. Το Data API επιτρέπει στο Redshift να επιτρέπει στους πελάτες να έχουν ανώδυνη πρόσβαση σε δεδομένα με όλους τους τύπους παραδοσιακών, εγγενών στο cloud και εμπορευματοκιβωτίων εφαρμογών που βασίζονται σε υπηρεσίες ιστού χωρίς διακομιστή και εφαρμογών που βασίζονται σε εκδηλώσεις. Απλοποιεί την πρόσβαση, την απορρόφηση και την έξοδο δεδομένων από γλώσσες προγραμματισμού και πλατφόρμες που υποστηρίζονται από το AWS SDK, όπως Python, Go, Java, Node.js, PHP, Ruby και C++. Το Data API εξαλείφει την ανάγκη διαμόρφωσης προγραμμάτων οδήγησης και διαχείρισης συνδέσεων βάσης δεδομένων. Αντίθετα, οι πελάτες μπορούν να εκτελέσουν εντολές SQL σε ένα σύμπλεγμα Amazon Redshift καλώντας απλώς ένα ασφαλές τελικό σημείο API που παρέχεται από το Data API. Το Data API φροντίζει για τη διαχείριση των συνδέσεων βάσης δεδομένων και την αποθήκευση δεδομένων στην προσωρινή μνήμη. Το Data API είναι ασύγχρονο, επομένως τα αποτελέσματα μπορούν να ανακτηθούν αργότερα και να αποθηκευτούν για 24 ώρες.

Τέλος, στον πυλώνα της εύκολης ανάλυσης για όλους, το 2021 ξεκινήσαμε το Πρόσθετο Grafana Redshift για να βοηθήσουν τους πελάτες να αποκτήσουν μια βαθύτερη κατανόηση της απόδοσης του συμπλέγματός τους. Το Grafana είναι ένα δημοφιλές εργαλείο ανοιχτού κώδικα για την εκτέλεση αναλυτικών στοιχείων και συστημάτων παρακολούθησης στο διαδίκτυο. Η προσθήκη Grafana Redshift επιτρέπει στους πελάτες να ρωτούν πίνακες συστήματος και προβολές για το πιο πλήρες σύνολο λειτουργικών μετρήσεων στο σύμπλεγμα Redshift. Το πρόσθετο είναι διαθέσιμο στο αποθετήριο Open Source Grafana, καθώς και στην υπηρεσία Amazon Managed Grafana. Δημοσιεύσαμε επίσης έναν προεπιλεγμένο, σε βάθος, λειτουργικό πίνακα εργαλείων για να επωφεληθείτε από αυτήν τη δυνατότητα.

Το Redshift δίνει τη δυνατότητα στους πελάτες να αναλύουν όλα τα δεδομένα τους

Το Redshift προσφέρει στους πελάτες τα καλύτερα τόσο από τις λίμνες δεδομένων όσο και από ειδικά κατασκευασμένα καταστήματα δεδομένων, όπως βάσεις δεδομένων και αποθήκες δεδομένων. Επιτρέπει στους πελάτες να αποθηκεύουν οποιονδήποτε όγκο δεδομένων, με χαμηλό κόστος και σε ανοιχτές μορφές δεδομένων που βασίζονται σε πρότυπα, όπως παρκέ και JSON σε λίμνες δεδομένων, και να εκτελούν ερωτήματα SQL χωρίς φόρτωση ή μετασχηματισμό. Επιπλέον, επιτρέπει στους πελάτες να εκτελούν σύνθετα αναλυτικά ερωτήματα με υψηλή απόδοση έναντι terabyte έως petabyte δομημένων και ημιδομημένων δεδομένων, χρησιμοποιώντας εξελιγμένη βελτιστοποίηση ερωτημάτων, στήλη αποθήκευσης σε αποθήκευση υψηλής απόδοσης και μαζικά παράλληλη εκτέλεση ερωτημάτων. Το Redshift επιτρέπει στους πελάτες να έχουν πρόσβαση σε ζωντανά δεδομένα από τις βάσεις δεδομένων συναλλαγών ως μέρος της επιχειρηματικής ευφυΐας (BI) τους και των εφαρμογών αναφοράς για την ενεργοποίηση των λειτουργικών αναλύσεων. Οι πελάτες μπορούν να αναλύσουν τα σιλό δεδομένων αναζητώντας απρόσκοπτα δεδομένα στις λίμνες δεδομένων, στις αποθήκες δεδομένων και στις βάσεις δεδομένων. να εξουσιοδοτήσουν τις ομάδες τους να εκτελούν αναλυτικά στοιχεία και ML χρησιμοποιώντας το προτιμώμενο εργαλείο ή την τεχνική τους. και να διαχειριστείτε ποιος έχει πρόσβαση στα δεδομένα με τους κατάλληλους ελέγχους ασφάλειας και διακυβέρνησης δεδομένων. Παρουσιάσαμε νέες δυνατότητες το 2021, όπως η Κοινή χρήση δεδομένων, η ενσωμάτωση ανταλλαγής δεδομένων AWS και το Redshift ML, για να διευκολύνουμε τους πελάτες να αναλύουν όλα τα δεδομένα τους.

Κοινή χρήση δεδομένων Amazon Redshift επιτρέπει στους πελάτες να επεκτείνουν την ευκολία χρήσης, την απόδοση και τα πλεονεκτήματα κόστους που προσφέρει το Amazon Redshift σε ένα μόνο σύμπλεγμα σε αναπτύξεις πολλαπλών συμπλεγμάτων ενώ έχουν τη δυνατότητα κοινής χρήσης δεδομένων. Επιτρέπει την άμεση, λεπτομερή και γρήγορη πρόσβαση σε δεδομένα στα συμπλέγματα Amazon Redshift χωρίς την ανάγκη αντιγραφής ή μετακίνησης δεδομένων. Η κοινή χρήση δεδομένων παρέχει ζωντανή πρόσβαση στα δεδομένα, έτσι ώστε οι χρήστες σας να βλέπουν πάντα τις πιο ενημερωμένες και συνεπείς πληροφορίες καθώς ενημερώνονται στην αποθήκη δεδομένων. Οι πελάτες μπορούν να μοιράζονται με ασφάλεια ζωντανά δεδομένα με συμπλέγματα Amazon Redshift στο ίδιο ή διαφορετικούς λογαριασμούς AWS εντός της ίδιας περιοχής ή σε όλες τις περιφέρειες. Η κοινή χρήση δεδομένων διαθέτει πολλές βελτιώσεις απόδοσης, συμπεριλαμβανομένης της προσωρινής αποθήκευσης αποτελεσμάτων και της κλιμάκωσης συγχρονισμού, οι οποίες επιτρέπουν στους πελάτες να υποστηρίζουν ένα ευρύτερο σύνολο εφαρμογών ανάλυσης και να πληρούν κρίσιμες SLA απόδοσης όταν υποβάλλουν ερωτήματα σε κοινόχρηστα δεδομένα. Οι πελάτες μπορούν να χρησιμοποιήσουν την κοινή χρήση δεδομένων για περιπτώσεις χρήσης, όπως η απομόνωση φόρτου εργασίας και η δυνατότητα χρέωσης, καθώς και να παρέχουν ασφαλή και ελεγχόμενη συνεργασία εντός και μεταξύ ομάδων και εξωτερικών μερών.

Οι πελάτες μας ζήτησαν επίσης να τους βοηθήσουμε με εσωτερικές ή εξωτερικές αγορές δεδομένων, ώστε να μπορούν να ενεργοποιήσουν περιπτώσεις χρήσης, όπως δεδομένα ως υπηρεσία και ενσωματωμένο 3^rd- στοιχεία κόμματος. Ξεκινήσαμε τη δημόσια προεπισκόπηση του Ανταλλαγή δεδομένων AWS για το Amazon Redshift, μια νέα δυνατότητα που επιτρέπει στους πελάτες να βρίσκουν και να εγγραφούν σε δεδομένα τρίτων Ανταλλαγή δεδομένων AWS ότι μπορούν να κάνουν ερωτήσεις σε μια αποθήκη δεδομένων Amazon Redshift μέσα σε λίγα λεπτά. Οι πάροχοι δεδομένων μπορούν να απαριθμήσουν και να προσφέρουν προϊόντα που περιέχουν σύνολα δεδομένων Amazon Redshift στον κατάλογο AWS Data Exchange, παρέχοντας στους συνδρομητές άμεση πρόσβαση μόνο για ανάγνωση στα δεδομένα που είναι αποθηκευμένα στο Amazon Redshift. Αυτή η δυνατότητα δίνει τη δυνατότητα στους πελάτες να υποβάλλουν γρήγορα ερωτήματα, να αναλύουν και να δημιουργούν εφαρμογές με αυτά τα σύνολα δεδομένων τρίτων. Το AWS Data Exchange για το Amazon Redshift επιτρέπει στους πελάτες να συνδυάζουν δεδομένα τρίτων που βρίσκονται στο AWS Data Exchange με τα δικά τους δεδομένα πρώτου κατασκευαστή στην αποθήκη δεδομένων cloud του Amazon Redshift, χωρίς να απαιτείται ETL. Δεδομένου ότι οι πελάτες ζητούν απευθείας ερωτήσεις για τις αποθήκες δεδομένων παρόχου, μπορούν να είναι σίγουροι ότι χρησιμοποιούν τα πιο πρόσφατα δεδομένα που προσφέρονται. Επιπλέον, τα δικαιώματα, η τιμολόγηση και η διαχείριση πληρωμών είναι όλα αυτοματοποιημένα: η πρόσβαση στα δεδομένα του Amazon Redshift παρέχεται όταν ξεκινά μια συνδρομή δεδομένων και καταργείται όταν τελειώνει, τα τιμολόγια δημιουργούνται αυτόματα και οι πληρωμές συλλέγονται και εκταμιεύονται αυτόματα μέσω του AWS Marketplace.

Οι πελάτες ζήτησαν επίσης τη βοήθειά μας για να διευκολύνουν την εκπαίδευση και την ανάπτυξη μοντέλων ML, όπως η πρόβλεψη, η επεξεργασία φυσικής γλώσσας, η ανίχνευση αντικειμένων και η ταξινόμηση εικόνων απευθείας πάνω από τα δεδομένα σε ειδικά διαμορφωμένους χώρους αποθήκευσης δεδομένων χωρίς να χρειάζεται να εκτελέσετε περίπλοκη μετακίνηση δεδομένων ή μάθετε νέα εργαλεία. Ξεκινήσαμε Redshift ML νωρίτερα φέτος για να επιτρέψει στους πελάτες να δημιουργήσουν, να εκπαιδεύσουν και να αναπτύξουν μοντέλα ML χρησιμοποιώντας γνωστές εντολές SQL. Το Amazon Redshift ML επιτρέπει στους πελάτες να αξιοποιήσουν Amazon Sage Maker, μια πλήρως διαχειριζόμενη υπηρεσία ML, χωρίς μετακίνηση των δεδομένων τους ή εκμάθηση νέων δεξιοτήτων. Επιπλέον, το Amazon Redshift ML που υποστηρίζεται από το Amazon SageMaker επιτρέπει στους πελάτες να χρησιμοποιούν δηλώσεις SQL για να δημιουργήσουν και να εκπαιδεύσουν μοντέλα ML από τα δεδομένα τους στο Amazon Redshift και, στη συνέχεια, να χρησιμοποιήσουν αυτά τα μοντέλα για περιπτώσεις χρήσης όπως η πρόβλεψη εκτροπής και η βαθμολογία κινδύνου απάτης απευθείας στα ερωτήματα και τις αναφορές τους. Το Amazon Redshift ML ανακαλύπτει αυτόματα το καλύτερο μοντέλο και το συντονίζει με βάση τα δεδομένα εκπαίδευσης χρησιμοποιώντας Αυτόματος πιλότος Amazon SageMaker. Το SageMaker Autopilot επιλέγει μεταξύ μοντέλων ταξινόμησης παλινδρόμησης, δυαδικής ή πολλαπλών κλάσεων. Εναλλακτικά, οι πελάτες μπορούν να επιλέξουν έναν συγκεκριμένο τύπο μοντέλου, όπως δέντρο με ενισχυμένη κλίση Xtreme (XGBoost) ή πολυστρωματικό perceptron (MLP), έναν τύπο προβλήματος όπως παλινδρόμηση ή ταξινόμηση και προεπεξεργαστές ή υπερπαράμετρους. Το Amazon Redshift ML χρησιμοποιεί παραμέτρους πελατών για τη δημιουργία, την εκπαίδευση και την ανάπτυξη του μοντέλου στην αποθήκη δεδομένων του Amazon Redshift. Οι πελάτες μπορούν να λάβουν προβλέψεις από αυτά τα εκπαιδευμένα μοντέλα χρησιμοποιώντας ερωτήματα SQL σαν να επικαλούνταν μια συνάρτηση καθορισμένη από το χρήστη (UDF) και να αξιοποιήσουν όλα τα οφέλη του Amazon Redshift, συμπεριλαμβανομένων των δυνατοτήτων μαζικής παράλληλης επεξεργασίας. Οι πελάτες μπορούν επίσης να εισάγουν τα προεκπαιδευμένα μοντέλα SageMaker Autopilot, XGBoost ή MLP στο σύμπλεγμα Amazon Redshift για τοπικά συμπεράσματα. Το Redshift ML υποστηρίζει τόσο εποπτευόμενη όσο και χωρίς επίβλεψη ML για προηγμένες περιπτώσεις χρήσης αναλυτικών στοιχείων που κυμαίνονται από την πρόβλεψη έως την εξατομίκευση.

Οι πελάτες θέλουν να συνδυάσουν ζωντανά δεδομένα από λειτουργικές βάσεις δεδομένων με τα δεδομένα στην αποθήκη δεδομένων Amazon Redshift και τα δεδομένα στο περιβάλλον λίμνης δεδομένων Amazon S3 για να λάβουν ενοποιημένες αναλυτικές προβολές σε όλα τα δεδομένα της επιχείρησης. Ξεκινήσαμε το ομοσπονδιακό ερώτημα του Amazon Redshift για να επιτρέψουμε στους πελάτες να ενσωματώσουν ζωντανά δεδομένα από τις βάσεις δεδομένων συναλλαγών ως μέρος των εφαρμογών BI και αναφοράς τους για να ενεργοποιήσουν τα λειτουργικά αναλυτικά στοιχεία. Ο έξυπνος βελτιστοποιητής στο Amazon Redshift πιέζει προς τα κάτω και διανέμει ένα μέρος του υπολογισμού απευθείας στις απομακρυσμένες βάσεις δεδομένων λειτουργίας για να βοηθήσει στην επιτάχυνση της απόδοσης μειώνοντας τα δεδομένα που μετακινούνται μέσω του δικτύου. Το Amazon Redshift συμπληρώνει την επακόλουθη εκτέλεση του ερωτήματος αξιοποιώντας τις μαζικά παράλληλες δυνατότητες επεξεργασίας του για περαιτέρω επιτάχυνση. Το ενοποιημένο ερώτημα διευκολύνει επίσης την απορρόφηση δεδομένων στο Amazon Redshift, επιτρέποντας στους πελάτες να ρωτούν απευθείας τις επιχειρησιακές βάσεις δεδομένων, να εφαρμόζουν μετασχηματισμούς εν κινήσει και να φορτώνουν δεδομένα στους πίνακες-στόχους χωρίς να απαιτούνται πολύπλοκες αγωγές ETL. Το 2021, προσθέσαμε υποστήριξη για Amazon Aurora MySQL και Amazon RDS για βάσεις δεδομένων MySQL εκτός από τις υπάρχουσες βάσεις δεδομένων Amazon Aurora PostgreSQL και Amazon RDS for PostgreSQL για ομοσπονδιακά ερωτήματα, ώστε οι πελάτες να έχουν πρόσβαση σε περισσότερες πηγές δεδομένων για πιο πλούσια αναλυτικά στοιχεία.

Τέλος, στην ανάλυση όλων των δεδομένων σας το 2021, προσθέσαμε τύπους δεδομένων όπως SUPER, GEOGRAPHY και VARBYTE για να επιτρέψουμε στους πελάτες να αποθηκεύουν ημιδομημένα δεδομένα εγγενώς στην αποθήκη δεδομένων Redshift, ώστε να μπορούν να αναλύουν όλα τα δεδομένα τους σε κλίμακα και με απόδοση. ο SUPER Ο τύπος δεδομένων επιτρέπει στους πελάτες να απορροφούν και να αποθηκεύουν JSON και ημι-δομημένα δεδομένα στις αποθήκες δεδομένων του Amazon Redshift. Το Amazon Redshift περιλαμβάνει επίσης υποστήριξη για PartiQL για πρόσβαση συμβατή με SQL σε σχεσιακά, ημιδομημένα και ένθετα δεδομένα. Χρησιμοποιώντας τον τύπο δεδομένων SUPER και το PartiQL στο Amazon Redshift, οι πελάτες μπορούν να εκτελούν προηγμένες αναλύσεις που συνδυάζουν κλασικά δομημένα δεδομένα SQL (όπως συμβολοσειρά, αριθμητική και χρονική σήμανση) με τα ημιδομημένα δεδομένα SUPER (όπως JSON) με ανώτερη απόδοση, ευελιξία. και ευκολία στη χρήση. ο ΓΕΩΓΡΑΦΙΑ Ο τύπος δεδομένων βασίζεται στην υποστήριξη χωρικών αναλύσεων από το Redshift, υποστήριξη για πολλές ακόμη εφαρμογές χωρικών και GIS τρίτων. Επιπλέον, προσθέτει στον τύπο δεδομένων GEOMETRY και περισσότερες από 70 χωρικές λειτουργίες που είναι ήδη διαθέσιμες στο Redshift. Ο τύπος δεδομένων GEOGRAPHY χρησιμοποιείται σε ερωτήματα που απαιτούν αποτελέσματα μεγαλύτερης ακρίβειας για χωρικά δεδομένα με γεωγραφικά χαρακτηριστικά που μπορούν να αναπαρασταθούν με ένα σφαιροειδές μοντέλο της Γης και να αναφέρονται χρησιμοποιώντας γεωγραφικό πλάτος και μήκος ως χωρικό σύστημα συντεταγμένων. VARBYTE είναι ένας τύπος δεδομένων μεταβλητού μεγέθους για αποθήκευση και αναπαράσταση δυαδικών συμβολοσειρών μεταβλητού μήκους.

Το Redshift προσφέρει απόδοση σε οποιαδήποτε κλίμακα

Από τότε που ανακοινώσαμε το Amazon Redshift το 2012, η ​​απόδοση σε οποιαδήποτε κλίμακα ήταν θεμελιώδης αρχή για να προσφέρουμε αξία σε δεκάδες χιλιάδες πελάτες που μας εμπιστεύονται καθημερινά για να αποκτήσουν επιχειρηματικές πληροφορίες από τα δεδομένα τους. Οι πελάτες μας καλύπτουν όλους τους κλάδους και τα μεγέθη, από νεοφυείς επιχειρήσεις έως εταιρείες του Fortune 500, και εργαζόμαστε για να προσφέρουμε την καλύτερη απόδοση τιμής για κάθε περίπτωση χρήσης. Με τα χρόνια, έχουμε κυκλοφορήσει λειτουργίες όπως η δυναμική προσθήκη χωρητικότητας συμπλέγματος όταν τη χρειάζεστε με κλιμάκωση συγχρονισμού, διασφαλίζοντας ότι χρησιμοποιείτε αποτελεσματικά τους πόρους συμπλέγματος με την αυτόματη διαχείριση φόρτου εργασίας (WLM) και αυτόματη προσαρμογή της διάταξης δεδομένων, των κλειδιών διανομής και των σχεδίων ερωτημάτων να παρέχει βέλτιστη απόδοση για ένα δεδομένο φόρτο εργασίας. Το 2021, παρουσιάσαμε δυνατότητες όπως το AQUA, την κλιμάκωση συγχρονισμού για εγγραφές και περαιτέρω βελτιώσεις στους κόμβους RA3 για να συνεχίσουμε να βελτιώνουμε την απόδοση τιμής του Redshift.

Παρουσιάσαμε τους τύπους κόμβων RA3 το 2019 ως τεχνολογία που επιτρέπει την ανεξάρτητη κλιμάκωση του υπολογισμού και της αποθήκευσης. Περιγράψαμε επίσης πώς οι πελάτες, συμπεριλαμβανομένων των Codeacademy, OpenVault, Yelp και Nielsen, έχουν εκμεταλλευτεί τους κόμβους Amazon Redshift RA3 με διαχειριζόμενο αποθηκευτικό χώρο για να κλιμακώσουν τις αποθήκες δεδομένων cloud τους και να μειώσουν το κόστος. Το RA3 αξιοποιεί το Redshift Managed Storage (RMS) ως το ανθεκτικό στρώμα αποθήκευσης που επιτρέπει σχεδόν απεριόριστη χωρητικότητα αποθήκευσης όπου τα δεδομένα δεσμεύονται πίσω στο Amazon S3. Αυτό επέτρεψε νέες δυνατότητες, όπως το Data Sharing και το AQUA, όπου το RMS χρησιμοποιείται ως κοινόχρηστος χώρος αποθήκευσης σε πολλαπλά συμπλέγματα. Οι κόμβοι RA3 είναι διαθέσιμοι σε τρία μεγέθη (16XL, 4XL και XLPlus) για εξισορρόπηση τιμής/απόδοσης. Το 2021 ξεκινήσαμε συστάδες μονού κόμβου RA3 XLPlus για να βοηθήσει τους πελάτες να μεταφέρουν οικονομικά τους μικρότερους φόρτους εργασίας της αποθήκης δεδομένων σε RA3 και να επωφεληθούν από την καλύτερη απόδοση τιμής. Παρουσιάσαμε επίσης ένα self-service Δυνατότητα μετανάστευσης DS2 σε RA3 RI που επιτρέπει στους RI να μετατρέπονται με σταθερό κόστος μεταξύ ισοδύναμων τύπων κόμβων.

AQUA Το (Advanced Query Accelerator) για το Amazon Redshift είναι μια νέα κατανεμημένη και επιταχυνόμενη από υλικό cache που επιτρέπει στο Amazon Redshift να εκτελεί μια τάξη μεγέθους πιο γρήγορα από άλλες αποθήκες εταιρικών cloud δεδομένων, ενισχύοντας αυτόματα ορισμένους τύπους ερωτημάτων. Το AQUA χρησιμοποιεί επεξεργαστές σχεδιασμένους από AWS με τσιπ AWS Nitro προσαρμοσμένα για την επιτάχυνση της κρυπτογράφησης και συμπίεσης δεδομένων και προσαρμοσμένους επεξεργαστές ανάλυσης, που υλοποιούνται σε FPGA, για να επιταχύνουν λειτουργίες όπως σαρώσεις, φιλτράρισμα και συνάθροιση. Το AQUA διατίθεται με τους κόμβους RA3.16xlarge, RA3.4xlarge ή RA3.xlplus χωρίς επιπλέον χρέωση και δεν απαιτεί αλλαγές κωδικών.

Το Concurrency Scaling κυκλοφόρησε το 2019 για τη διαχείριση αιχμηρών και απρόβλεπτων φόρτων εργασίας ανάγνωσης χωρίς να χρειάζεται να προβλεφθεί καμία χωρητικότητα. Το Redshift προσφέρει μία ώρα δωρεάν Κλιμάκωση Συγχρονισμού για κάθε 24 ώρες χρήσης που εκτελείται το κύριο σύμπλεγμα σας. Προσφέρει επίσης ελέγχους κόστους για την παρακολούθηση και τον περιορισμό της χρήσης και των σχετικών δαπανών για την Κλιμάκωση Συγχρονισμού. Εκτός από τα ερωτήματα ανάγνωσης, η υποστήριξη ερωτημάτων εγγραφής ήταν ένα μεγάλο αίτημα από τους πελάτες για την υποστήριξη φόρτου εργασίας ETL. Το 2021 ξεκινήσαμε Υποστήριξη ερωτημάτων εγγραφής Redshift Concurrency Scaling σε προεπισκόπηση με κοινές λειτουργίες όπως ΕΙΣΑΓΩΓΗ, ΔΙΑΓΡΑΦΗ, ΕΝΗΜΕΡΩΣΗ και ΑΝΤΙΓΡΑΦΗ για να χειριστείτε απρόβλεπτες αιχμές σε φόρτους εργασίας ETL. Εάν χρησιμοποιείτε αυτήν τη στιγμή την Κλιμάκωση συγχρονισμού, αυτή η νέα δυνατότητα ενεργοποιείται αυτόματα στο σύμπλεγμα σας. Μπορείτε να παρακολουθείτε τη χρήση της Κλίμακας Συγχρονισμού χρησιμοποιώντας την Κονσόλα Redshift της Amazon και να λαμβάνετε ειδοποιήσεις για οποιαδήποτε χρήση υπερβαίνει τα καθορισμένα όριά σας. Μπορείτε επίσης να δημιουργήσετε, να τροποποιήσετε και να διαγράψετε όρια χρήσης μέσω προγραμματισμού χρησιμοποιώντας το Διεπαφή γραμμής εντολών AWS (CLI) και AWS API.

Τέλος, συνεχίζουμε να διασφαλίζουμε ότι το AWS έχει ολοκληρωμένες δυνατότητες ασφάλειας για να ικανοποιήσει τις πιο απαιτητικές απαιτήσεις και το Amazon Redshift συνεχίζει να παρέχει ασφάλεια δεδομένων εκτός συσκευασίας χωρίς επιπλέον κόστος. Παρουσιάσαμε νέα χαρακτηριστικά ασφαλείας το 2021, όπως π.χ cross-VPC υποστήριξη και προεπιλεγμένους ρόλους IAM, για να συνεχίσει να κάνει το Redshift πιο ασφαλές για τον φόρτο εργασίας των πελατών.

Χαρακτηριστικά

Όταν πρόκειται να κάνουμε ευκολότερο, απλούστερο και ταχύτερο για τους πελάτες να αναλύουν όλα τα δεδομένα τους, η ταχύτητα έχει σημασία και καινοτομούμε με γρήγορους ρυθμούς για να φέρουμε νέες δυνατότητες στο Redshift. Συνεχίζουμε να διαθέτουμε τις λειτουργίες Redshift σε περισσότερες περιοχές AWS παγκοσμίως για να διασφαλίσουμε ότι όλοι οι πελάτες έχουν πρόσβαση σε όλες τις δυνατότητες. Καλύψαμε τα βασικά χαρακτηριστικά παραπάνω και η πλήρης λίστα είναι διαθέσιμη εδώ. Ανυπομονούμε πώς θα χρησιμοποιήσετε ορισμένες από αυτές τις δυνατότητες για να συνεχίσετε να καινοτομείτε με δεδομένα και αναλυτικά στοιχεία.

---

Σχετικά με το Συγγραφέας

Μανάν Γκόελ είναι ηγέτης προϊόντων Go-To-Market για τις υπηρεσίες AWS Analytics, συμπεριλαμβανομένων των Amazon Redshift & AQUA στο AWS. Έχει περισσότερα από 25 χρόνια εμπειρίας και γνωρίζει καλά τις βάσεις δεδομένων, την αποθήκευση δεδομένων, την επιχειρηματική ευφυΐα και την ανάλυση. Ο Manan είναι κάτοχος MBA από το Πανεπιστήμιο Duke και πτυχίο στη μηχανική Ηλεκτρονικών & Επικοινωνιών.

Πηγή: https://aws.amazon.com/blogs/big-data/whats-new-in-amazon-redshift-2021-a-year-in-review/