Αυτή η ανάρτηση συνυπογράφεται με τους Justin Miles, Liv d'Aliberti και Joe Kovba από το Leidos.
Η Leidos είναι ηγέτης λύσεων επιστήμης και τεχνολογίας στο Fortune 500 που εργάζεται για να αντιμετωπίσει μερικές από τις πιο δύσκολες προκλήσεις στον κόσμο στις αγορές άμυνας, πληροφοριών, εσωτερικής ασφάλειας, πολιτικής και υγειονομικής περίθαλψης. Σε αυτήν την ανάρτηση, συζητάμε τον τρόπο με τον οποίο η Leidos συνεργάστηκε με το AWS για να αναπτύξει μια προσέγγιση για τη διατήρηση του απορρήτου του μοντέλου μεγάλης γλώσσας (LLM) χρησιμοποιώντας AWS Nitro Enclaves.
Τα LLM έχουν σχεδιαστεί για να κατανοούν και να δημιουργούν γλώσσα που μοιάζει με άνθρωπο και χρησιμοποιούνται σε πολλούς κλάδους, συμπεριλαμβανομένης της κυβέρνησης, της υγειονομικής περίθαλψης, της χρηματοοικονομικής και της πνευματικής ιδιοκτησίας. Τα LLM έχουν ευρεία εφαρμογή, συμπεριλαμβανομένων των chatbot, της δημιουργίας περιεχομένου, της μετάφρασης γλώσσας, της ανάλυσης συναισθημάτων, των συστημάτων απάντησης ερωτήσεων, των μηχανών αναζήτησης και της δημιουργίας κώδικα. Η εισαγωγή συμπερασμάτων με βάση το LLM σε ένα σύστημα έχει επίσης τη δυνατότητα να εισαγάγει απειλές για το απόρρητο, συμπεριλαμβανομένης της διείσδυσης μοντέλων, παραβιάσεων απορρήτου δεδομένων και ακούσιας χειραγώγησης υπηρεσιών που βασίζεται σε LLM. Πρέπει να εφαρμοστούν τεχνικές αρχιτεκτονικές προκειμένου να διασφαλιστεί ότι τα LLM δεν εκθέτουν ευαίσθητες πληροφορίες κατά τη διάρκεια της εξαγωγής συμπερασμάτων.
Αυτή η ανάρτηση συζητά πώς τα Nitro Enclaves μπορούν να βοηθήσουν στην προστασία των αναπτύξεων μοντέλων LLM, ειδικά εκείνων που χρησιμοποιούν προσωπικά αναγνωρίσιμες πληροφορίες (PII) ή προστατευμένες πληροφορίες υγείας (PHI). Αυτή η ανάρτηση είναι μόνο για εκπαιδευτικούς σκοπούς και δεν πρέπει να χρησιμοποιείται σε περιβάλλοντα παραγωγής χωρίς πρόσθετους ελέγχους.
Επισκόπηση των LLMs και των Nitro Enclaves
Μια πιθανή περίπτωση χρήσης είναι ένα chatbot ευαίσθητου ερωτήματος που βασίζεται σε LLM και έχει σχεδιαστεί για να εκτελεί μια υπηρεσία ερωτήσεων και απαντήσεων που περιέχει PII και PHI. Οι περισσότερες τρέχουσες λύσεις chatbot LLM ενημερώνουν ρητά τους χρήστες ότι δεν πρέπει να περιλαμβάνουν PII ή PHI κατά την εισαγωγή ερωτήσεων για λόγους ασφαλείας. Για να μετριάσουν αυτές τις ανησυχίες και να προστατεύσουν τα δεδομένα των πελατών, οι κάτοχοι υπηρεσιών βασίζονται κυρίως στις προστασίες των χρηστών, όπως οι ακόλουθες:
- Σύνταξη – Η διαδικασία αναγνώρισης και απόκρυψης ευαίσθητων πληροφοριών όπως PII σε έγγραφα, κείμενα ή άλλες μορφές περιεχομένου. Αυτό μπορεί να επιτευχθεί με δεδομένα εισόδου πριν σταλούν σε ένα μοντέλο ή σε ένα LLM που έχει εκπαιδευτεί να διορθώνει τις απαντήσεις του αυτόματα.
- Έλεγχος ταυτότητας πολλαπλών παραγόντων – Μια διαδικασία ασφαλείας που απαιτεί από τους χρήστες να παρέχουν πολλαπλές μεθόδους ελέγχου ταυτότητας για να επαληθεύσουν την ταυτότητά τους για να αποκτήσουν πρόσβαση στο LLM.
- Transport Layer Security (TLS) – Ένα κρυπτογραφικό πρωτόκολλο που παρέχει ασφαλή επικοινωνία που ενισχύει το απόρρητο των δεδομένων κατά τη μεταφορά μεταξύ των χρηστών και της υπηρεσίας LLM.
Αν και αυτές οι πρακτικές ενισχύουν τη στάση ασφαλείας της υπηρεσίας, δεν επαρκούν για την προστασία όλων των ευαίσθητων πληροφοριών χρήστη και άλλων ευαίσθητων πληροφοριών που μπορούν να διατηρηθούν εν αγνοία του χρήστη.
Στο παράδειγμά μας, μια υπηρεσία LLM έχει σχεδιαστεί για να απαντά σε ερωτήσεις σχετικά με τις παροχές υγειονομικής περίθαλψης των εργαζομένων ή να παρέχει ένα προσωπικό πρόγραμμα συνταξιοδότησης. Ας αναλύσουμε το ακόλουθο δείγμα αρχιτεκτονικής και ας προσδιορίσουμε τις περιοχές κινδύνου για το απόρρητο των δεδομένων.
Οι πιθανοί τομείς κινδύνου είναι οι εξής:
- Οι προνομιούχοι χρήστες έχουν πρόσβαση στο στιγμιότυπο που φιλοξενεί τον διακομιστή. Οι ακούσιες ή μη εξουσιοδοτημένες αλλαγές στην υπηρεσία θα μπορούσαν να έχουν ως αποτέλεσμα την έκθεση ευαίσθητων δεδομένων με ακούσιο τρόπο.
- Οι χρήστες πρέπει να εμπιστεύονται ότι η υπηρεσία δεν θα εκθέσει ή θα διατηρήσει ευαίσθητες πληροφορίες στα αρχεία καταγραφής εφαρμογών.
- Οι αλλαγές στα πακέτα εφαρμογών μπορεί να προκαλέσουν αλλαγές στην υπηρεσία, με αποτέλεσμα την έκθεση ευαίσθητων δεδομένων.
- Οι προνομιούχοι χρήστες με πρόσβαση στην παρουσία έχουν απεριόριστη πρόσβαση στο LLM που χρησιμοποιείται από την υπηρεσία. Οι αλλαγές ενδέχεται να προκαλέσουν την επιστροφή εσφαλμένων ή ανακριβών πληροφοριών στους χρήστες.
Το Nitro Enclaves παρέχει πρόσθετη απομόνωση στο δικό σας Amazon Elastic Compute Cloud (Amazon EC2), η προστασία των δεδομένων που χρησιμοποιούνται από μη εξουσιοδοτημένη πρόσβαση, συμπεριλαμβανομένων των χρηστών σε επίπεδο διαχειριστή. Στην προηγούμενη αρχιτεκτονική, είναι πιθανό μια ακούσια αλλαγή να έχει ως αποτέλεσμα ευαίσθητα δεδομένα να παραμένουν σε απλό κείμενο και να αποκαλύπτονται κατά λάθος σε έναν χρήστη που μπορεί να μην χρειάζεται να έχει πρόσβαση σε αυτά τα δεδομένα. Με το Nitro Enclaves, δημιουργείτε ένα απομονωμένο περιβάλλον από το στιγμιότυπο EC2, επιτρέποντάς σας να εκχωρήσετε πόρους CPU και μνήμης στον θύλακα. Αυτός ο θύλακας είναι μια εξαιρετικά περιοριστική εικονική μηχανή. Με την εκτέλεση κώδικα που χειρίζεται ευαίσθητα δεδομένα εντός του θύλακα, καμία από τις διεργασίες του γονέα δεν θα μπορεί να προβάλει δεδομένα θύλακα.
Το Nitro Enclaves προσφέρει τα ακόλουθα οφέλη:
- Μνήμη και απομόνωση CPU – Βασίζεται στον Nitro Hypervisor για την απομόνωση της CPU και της μνήμης του θύλακα από χρήστες, εφαρμογές και βιβλιοθήκες στη γονική παρουσία. Αυτή η δυνατότητα βοηθά στην απομόνωση του θύλακα και του λογισμικού σας και μειώνει σημαντικά την επιφάνεια για ανεπιθύμητα συμβάντα.
- Ξεχωριστή εικονική μηχανή – Οι θύλακες είναι διαχωρισμένες εικονικές μηχανές συνδεδεμένες σε μια παρουσία EC2 για την περαιτέρω προστασία και την ασφαλή επεξεργασία δεδομένων υψηλής ευαισθησίας.
- Δεν υπάρχει διαδραστική πρόσβαση – Οι θύλακες παρέχουν μόνο ασφαλή τοπική σύνδεση υποδοχής με το γονικό παράδειγμα τους. Δεν έχουν μόνιμο χώρο αποθήκευσης, διαδραστική πρόσβαση ή εξωτερική δικτύωση.
- Κρυπτογραφική βεβαίωση – Προσφορές Nitro Enclaves κρυπτογραφική βεβαίωση, μια διαδικασία που χρησιμοποιείται για την απόδειξη της ταυτότητας ενός θύλακα και την επαλήθευση ότι μόνο εξουσιοδοτημένος κωδικός εκτελείται στον θύλακα σας.
- Ενσωμάτωση AWS – Το Nitro Enclaves είναι ενσωματωμένο με Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS), επιτρέποντάς σας να αποκρυπτογραφήσετε αρχεία που έχουν κρυπτογραφηθεί χρησιμοποιώντας AWS KMS μέσα στον θύλακα. Διαχειριστής πιστοποιητικών AWS (ACM) για Nitro Enclaves σάς επιτρέπει να χρησιμοποιείτε δημόσια και ιδιωτικά πιστοποιητικά SSL/TLS με τις εφαρμογές web και τους διακομιστές σας που εκτελούνται σε παρουσίες EC2 με Nitro Enclaves.
Μπορείτε να χρησιμοποιήσετε αυτές τις δυνατότητες που παρέχονται από το Nitro Enclaves για να βοηθήσετε στον μετριασμό των κινδύνων που σχετίζονται με δεδομένα PII και PHI. Συνιστούμε τη συμπερίληψη Nitro Enclaves σε μια υπηρεσία LLM κατά το χειρισμό ευαίσθητων δεδομένων χρήστη.
Επισκόπηση λύσεων
Ας εξετάσουμε την αρχιτεκτονική της υπηρεσίας παραδείγματος, συμπεριλαμβανομένου τώρα των Nitro Enclaves. Με την ενσωμάτωση Nitro Enclaves, όπως φαίνεται στο παρακάτω σχήμα, το LLM γίνεται ένα πιο ασφαλές chatbot για το χειρισμό δεδομένων PHI ή PII.
Τα δεδομένα χρήστη, συμπεριλαμβανομένων των PII, PHI και ερωτήσεων, παραμένουν κρυπτογραφημένα σε όλη τη διαδικασία αιτήματος-απόκρισης όταν η εφαρμογή φιλοξενείται σε έναν θύλακα. Τα βήματα που πραγματοποιήθηκαν κατά την εξαγωγή συμπερασμάτων είναι τα εξής:
- Η εφαρμογή chatbot δημιουργεί προσωρινά διαπιστευτήρια AWS και ζητά από τον χρήστη να εισάγει μια ερώτηση. Η ερώτηση, η οποία μπορεί να περιέχει PII ή PHI, κρυπτογραφείται στη συνέχεια μέσω AWS KMS. Η κρυπτογραφημένη είσοδος χρήστη συνδυάζεται με τα προσωρινά διαπιστευτήρια για τη δημιουργία του κρυπτογραφημένου αιτήματος.
- Τα κρυπτογραφημένα δεδομένα αποστέλλονται σε έναν διακομιστή HTTP που φιλοξενείται από το Flask ως αίτημα POST. Πριν αποδεχτείτε ευαίσθητα δεδομένα, αυτό το τελικό σημείο θα πρέπει να διαμορφωθεί για HTTP.
- Η εφαρμογή πελάτη λαμβάνει το αίτημα POST και το προωθεί μέσω ενός ασφαλούς τοπικού καναλιού (για παράδειγμα, vsock) στην εφαρμογή διακομιστή που εκτελείται μέσα στο Nitro Enclaves.
- Η εφαρμογή διακομιστή Nitro Enclaves χρησιμοποιεί τα προσωρινά διαπιστευτήρια για την αποκρυπτογράφηση του αιτήματος, θέτει ερωτήματα στο LLM και δημιουργεί την απάντηση. Οι ρυθμίσεις για το συγκεκριμένο μοντέλο αποθηκεύονται στους θύλακες και προστατεύονται με κρυπτογραφική βεβαίωση.
- Η εφαρμογή διακομιστή χρησιμοποιεί τα ίδια προσωρινά διαπιστευτήρια για την κρυπτογράφηση της απάντησης.
- Η κρυπτογραφημένη απάντηση επιστρέφεται στην εφαρμογή chatbot μέσω της εφαρμογής πελάτη ως απάντηση από το αίτημα POST.
- Η εφαρμογή chatbot αποκρυπτογραφεί την απάντηση χρησιμοποιώντας το κλειδί KMS και εμφανίζει το απλό κείμενο στον χρήστη.
Προϋποθέσεις
Πριν ξεκινήσουμε, χρειάζεστε τις ακόλουθες προϋποθέσεις για να αναπτύξετε τη λύση:
Διαμόρφωση μιας παρουσίας EC2
Ολοκληρώστε τα παρακάτω βήματα για να διαμορφώσετε μια παρουσία EC2:
- Εκκινήστε ένα r5.8x μεγάλο Στιγμιότυπο EC2 χρησιμοποιώντας το amzn2-ami-kernel-5.10-hvm-2.0.20230628.0-x86_64-gp2 AMI με ενεργοποιημένα τα Nitro Enclaves.
- Εγκαταστήστε το Nitro Enclaves CLI για να δημιουργήσετε και να εκτελέσετε εφαρμογές Nitro Enclaves:
sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y
- Επαληθεύστε την εγκατάσταση του Nitro Enclaves CLI:
nitro-cli –version
- Η έκδοση που χρησιμοποιείται σε αυτήν την ανάρτηση είναι η 1.2.2
- Εγκαταστήστε το Git and Docker για να δημιουργήσετε εικόνες Docker και να κατεβάσετε την εφαρμογή από το GitHub. Προσθέστε το χρήστη της παρουσίας σας στην ομάδα Docker ( είναι ο χρήστης της παρουσίας IAM σας):
sudo yum install git -y
sudo usermod -aG ne <USER>
sudo usermod -aG docker <USER>
sudo systemctl start docker && sudo systemctl enable docker
- Εκκινήστε και ενεργοποιήστε τις υπηρεσίες εκχωρητή Nitro Enclaves και διακομιστή μεσολάβησης vsock:
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service
sudo systemctl start nitro-enclaves-vsock-proxy.service && sudo systemctl enable nitro-enclaves-vsock-proxy.service
Το Nitro Enclaves χρησιμοποιεί μια τοπική σύνδεση υποδοχής που ονομάζεται vsock για να δημιουργήσει ένα ασφαλές κανάλι μεταξύ του γονικού στιγμιότυπου και του θύλακα.
Αφού ξεκινήσουν και ενεργοποιηθούν όλες οι υπηρεσίες, επανεκκινήστε την παρουσία για να επαληθεύσετε ότι όλες οι ομάδες χρηστών και οι υπηρεσίες εκτελούνται σωστά:
sudo shutdown -r now
Διαμορφώστε την υπηρεσία εκχώρησης Nitro Enclaves
Το Nitro Enclaves είναι ένα απομονωμένο περιβάλλον που προσδιορίζει ένα τμήμα της CPU και της μνήμης για την εκτέλεση του θύλακα. Με την υπηρεσία εκχώρησης Nitro Enclaves, μπορείτε να υποδείξετε πόσες CPU και πόση μνήμη θα αφαιρεθεί από το γονικό στιγμιότυπο για να τρέξει το enclave.
Τροποποιήστε τους δεσμευμένους πόρους του θύλακα χρησιμοποιώντας ένα πρόγραμμα επεξεργασίας κειμένου (για τη λύση μας, εκχωρούμε 8 CPU και 70,000 MiB μνήμη για να παρέχουμε αρκετούς πόρους):
vi /etc/nitro_enclaves/allocatory.yaml
Κλωνοποιήστε το έργο
Αφού διαμορφώσετε το στιγμιότυπο EC2, μπορείτε να κάνετε λήψη του κώδικα για να εκτελέσετε το ευαίσθητο chatbot με ένα LLM μέσα στο Nitro Enclaves.
Πρέπει να ενημερώσετε το server.py
αρχείο με το κατάλληλο αναγνωριστικό κλειδιού KMS που δημιουργήσατε στην αρχή για να κρυπτογραφήσετε την απόκριση LLM.
- Κλωνοποιήστε το έργο GitHub:
cd ~/ && git clone https://<THE_REPO.git>
- Μεταβείτε στο φάκελο του έργου για να δημιουργήσετε το
enclave_base
Εικόνα Docker που περιέχει το Κιτ ανάπτυξης λογισμικού Nitro Enclaves (SDK) για έγγραφα κρυπτογραφικής βεβαίωσης από το Nitro Hypervisor (αυτό το βήμα μπορεί να διαρκέσει έως και 15 λεπτά):cd /nitro_llm/enclave_base
docker build ./ -t “enclave_base”
Αποθηκεύστε το LLM στο EC2 Instance
Χρησιμοποιούμε το ανοιχτού κώδικα Bloom 560m LLM για επεξεργασία φυσικής γλώσσας για τη δημιουργία απαντήσεων. Αυτό το μοντέλο δεν είναι προσαρμοσμένο σε PII και PHI, αλλά δείχνει πώς ένα LLM μπορεί να ζήσει μέσα σε έναν θύλακα. Το μοντέλο πρέπει επίσης να αποθηκευτεί στη γονική παρουσία, ώστε να μπορεί να αντιγραφεί στον θύλακα μέσω του αρχείου Docker.
- Πλοηγηθείτε στο έργο:
cd /nitro_llm
- Εγκαταστήστε τις απαραίτητες απαιτήσεις για να αποθηκεύσετε το μοντέλο τοπικά:
pip3 install requirements.txt
- Εκτελέστε το
save_model.py
εφαρμογή για αποθήκευση του μοντέλου εντός του/nitro_llm/enclave/bloom
Ευρετήριο:python3 save_model.py
Δημιουργήστε και εκτελέστε την εικόνα Nitro Enclaves
Για να εκτελέσετε το Nitro Enclaves, πρέπει να δημιουργήσετε ένα αρχείο εικόνας εγκλεισμού (EIF) από μια εικόνα Docker της εφαρμογής σας. Το Dockerfile που βρίσκεται στον κατάλογο θύλακας περιέχει τα αρχεία, τον κώδικα και το LLM που θα εκτελεστούν μέσα στον θύλακα.
Η οικοδόμηση και η λειτουργία του θύλακα θα διαρκέσει πολλά λεπτά για να ολοκληρωθεί.
- Μεταβείτε στη ρίζα του έργου:
cd /nitro_llm
- Δημιουργήστε το αρχείο εικόνας θύλακα ως
enclave.eif
:nitro-cli build-enclave --docker-uri enclave:latest --output-file enclave.eif
Όταν δημιουργηθεί ο θύλακας, θα δημιουργηθεί μια σειρά μοναδικών κατακερματισμών και καταχωρητών διαμόρφωσης πλατφόρμας (PCR). Οι PCR είναι μια συνεχόμενη μέτρηση για την απόδειξη της ταυτότητας του υλικού και της εφαρμογής. Αυτά τα PCR θα απαιτηθούν για κρυπτογραφική πιστοποίηση και θα χρησιμοποιηθούν κατά το βήμα ενημέρωσης πολιτικής κλειδιού KMS.
- Εκτελέστε τον θύλακα με τους πόρους από το
allocator.service
(προσθέτοντας το--attach-console
το όρισμα στο τέλος θα τρέξει τον θύλακα σε λειτουργία εντοπισμού σφαλμάτων):nitro-cli run-enclave --cpu-count 8 --memory 70000 --enclave-cid 16 --eif-path enclave.eif
Πρέπει να εκχωρήσετε τουλάχιστον τέσσερις φορές το μέγεθος αρχείου EIF. Αυτό μπορεί να τροποποιηθεί στο allocator.service
από προηγούμενα βήματα.
- Βεβαιωθείτε ότι το enclave εκτελείται με την ακόλουθη εντολή:
nitro-cli describe-enclaves
Ενημερώστε την πολιτική κλειδιού KMS
Ολοκληρώστε τα παρακάτω βήματα για να ενημερώσετε την πολιτική κλειδιού KMS:
- Στην κονσόλα AWS KMS, επιλέξτε Κλειδιά διαχείρισης πελατών στο παράθυρο πλοήγησης.
- Αναζητήστε το κλειδί που δημιουργήσατε ως προαπαιτούμενο.
- Επιλέξτε Αλλαγή για τη βασική πολιτική.
- Ενημερώστε την πολιτική κλειδιών με τις ακόλουθες πληροφορίες:
- Το αναγνωριστικό του λογαριασμού σας
- Το όνομα χρήστη IAM σας
- Ο ενημερωμένος ρόλος του περιβάλλοντος Cloud9
- Δράσεις
kms:Encrypt
καιkms:Decrypt
- Εγκλωβίστε τις PCR (για παράδειγμα, PCR0, PCR1, PCR2) στην πολιτική κλειδιών σας με μια δήλωση συνθήκης
Δείτε τον ακόλουθο κωδικό πολιτικής κλειδιού:
Αποθηκεύστε την εφαρμογή chatbot
Για να μιμηθείτε μια ευαίσθητη εφαρμογή chatbot ερωτήματος που ζει εκτός του λογαριασμού AWS, πρέπει να αποθηκεύσετε το chatbot.py
εφαρμογή και εκτελέστε την μέσα στο περιβάλλον Cloud9. Το περιβάλλον σας Cloud9 θα χρησιμοποιήσει τον ρόλο παρουσίας του για προσωρινά διαπιστευτήρια για να αποσυνδέσει τα δικαιώματα από το EC2 που εκτελεί τον θύλακα. Ολοκληρώστε τα παρακάτω βήματα:
- Στην κονσόλα Cloud9, ανοίξτε το περιβάλλον που δημιουργήσατε.
- Αντιγράψτε τον παρακάτω κώδικα σε ένα νέο αρχείο όπως
chatbot.py
στον κύριο κατάλογο. - Εγκαταστήστε τις απαιτούμενες ενότητες:
pip install boto3
Pip install requests
- Στην κονσόλα Amazon EC2, σημειώστε την IP που σχετίζεται με την παρουσία σας Nitro Enclaves.
- Ενημερώστε τη μεταβλητή URL στο
http://<ec2instanceIP>:5001
.
- Εκτελέστε την εφαρμογή chatbot:
-
python3 chat.py
Όταν εκτελείται, το τερματικό θα ζητήσει την είσοδο του χρήστη και θα ακολουθήσει το αρχιτεκτονικό διάγραμμα του προηγούμενου για να δημιουργήσει μια ασφαλή απόκριση.
Εκτελέστε το ιδιωτικό chatbot ερωτήσεων και απαντήσεων
Τώρα που το Nitro Enclaves είναι σε λειτουργία και λειτουργεί στην παρουσία EC2, μπορείτε να κάνετε με μεγαλύτερη ασφάλεια ερωτήσεις PHI και PII στο chatbot σας. Ας δούμε ένα παράδειγμα.
Μέσα στο περιβάλλον Cloud9, κάνουμε μια ερώτηση στο chatbot μας και παρέχουμε το όνομα χρήστη μας.
Το AWS KMS κρυπτογραφεί την ερώτηση, η οποία μοιάζει με το παρακάτω στιγμιότυπο οθόνης.
Στη συνέχεια αποστέλλεται στον θύλακα και ζητείται από το ασφαλισμένο LLM. Η ερώτηση και η απάντηση του LLM θα μοιάζουν με το ακόλουθο στιγμιότυπο οθόνης (το αποτέλεσμα και η κρυπτογραφημένη απάντηση είναι ορατά μέσα στον θύλακα μόνο σε λειτουργία εντοπισμού σφαλμάτων).
Στη συνέχεια, το αποτέλεσμα κρυπτογραφείται χρησιμοποιώντας AWS KMS και επιστρέφει στο περιβάλλον Cloud9 για αποκρυπτογράφηση.
εκκαθάριση
Ολοκληρώστε τα παρακάτω βήματα για να καθαρίσετε τους πόρους σας:
- Σταματήστε την παρουσία EC2 που δημιουργήθηκε για να στεγάσει τον θύλακά σας.
- Διαγράψτε το περιβάλλον Cloud9.
- Διαγράψτε το κλειδί KMS.
- Καταργήστε τον ρόλο παρουσίας EC2 και τα δικαιώματα χρήστη IAM.
Συμπέρασμα
Σε αυτήν την ανάρτηση, παρουσιάσαμε πώς να χρησιμοποιήσετε το Nitro Enclaves για την ανάπτυξη μιας υπηρεσίας ερωτήσεων και απαντήσεων LLM που στέλνει και λαμβάνει πληροφορίες PII και PHI με μεγαλύτερη ασφάλεια. Αυτό αναπτύχθηκε στο Amazon EC2 και οι θύλακες είναι ενσωματωμένοι με το AWS KMS που περιορίζει την πρόσβαση σε ένα κλειδί KMS, επομένως μόνο τα Nitro Enclaves και ο τελικός χρήστης επιτρέπεται να χρησιμοποιούν το κλειδί και να αποκρυπτογραφούν την ερώτηση.
Εάν σκοπεύετε να κλιμακώσετε αυτήν την αρχιτεκτονική για να υποστηρίξετε μεγαλύτερους φόρτους εργασίας, βεβαιωθείτε ότι η διαδικασία επιλογής μοντέλου ταιριάζει με τις απαιτήσεις του μοντέλου σας με πόρους EC2. Επιπλέον, πρέπει να λάβετε υπόψη το μέγιστο μέγεθος αιτήματος και τον αντίκτυπο που θα έχει στον διακομιστή HTTP και τον χρόνο συμπερασμάτων έναντι του μοντέλου. Πολλές από αυτές τις παραμέτρους μπορούν να προσαρμοστούν μέσω του μοντέλου και των ρυθμίσεων διακομιστή HTTP.
Ο καλύτερος τρόπος για να προσδιορίσετε τις συγκεκριμένες ρυθμίσεις και απαιτήσεις για τον φόρτο εργασίας σας είναι μέσω δοκιμών με ένα τελειοποιημένο LLM. Αν και αυτή η ανάρτηση περιελάμβανε μόνο επεξεργασία ευαίσθητων δεδομένων σε φυσική γλώσσα, μπορείτε να τροποποιήσετε αυτήν την αρχιτεκτονική για να υποστηρίξετε εναλλακτικά LLM που υποστηρίζουν ήχο, όραση υπολογιστή ή πολλαπλές λειτουργίες. Οι ίδιες αρχές ασφαλείας που επισημαίνονται εδώ μπορούν να εφαρμοστούν σε δεδομένα σε οποιαδήποτε μορφή. Οι πόροι που χρησιμοποιούνται για τη δημιουργία αυτής της ανάρτησης είναι διαθέσιμοι στο GitHub repo.
Μοιραστείτε πώς θα προσαρμόσετε αυτήν τη λύση στο περιβάλλον σας στην ενότητα σχολίων.
Σχετικά με τους Συγγραφείς
Τζάστιν Μάιλς είναι μηχανικός cloud στον Τομέα Ψηφιακού Εκσυγχρονισμού Leidos υπό το Γραφείο Τεχνολογίας. Στον ελεύθερο χρόνο του, του αρέσει το γκολφ και τα ταξίδια.
Liv d' Aliberti είναι ερευνητής στο Leidos AI/ML Accelerator υπό το Γραφείο Τεχνολογίας. Η έρευνά τους επικεντρώνεται στη μηχανική μάθηση για τη διατήρηση του απορρήτου.
Κρις Ρέντσο είναι Sr. Solution Architect στον οργανισμό AWS Defense and Aerospace. Εκτός δουλειάς, απολαμβάνει μια ισορροπία ζεστού καιρού και ταξιδιών.
Τζο Κόβμπα είναι Αντιπρόεδρος στον Τομέα Ψηφιακού Εκσυγχρονισμού Leidos. Στον ελεύθερο χρόνο του, του αρέσει να διαιτητεύει ποδοσφαιρικούς αγώνες και να παίζει σόφτμπολ.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/large-language-model-inference-over-confidential-data-using-aws-nitro-enclaves/
- :έχει
- :είναι
- :δεν
- $UP
- 000
- 1
- 15%
- 16
- 2%
- 24
- 254
- 29
- 32
- 36
- 4
- 5
- 500
- 6
- 67
- 7
- 70
- 8
- 9
- a
- Ικανός
- επιταχυντής
- την αποδοχή
- πρόσβαση
- κατά λάθος
- επιτυγχάνεται
- Λογαριασμός
- ACM
- Ενέργειες
- προσαρμόσει
- προσθέτω
- προσθήκη
- Πρόσθετος
- Επιπλέον
- διεύθυνση
- Αεροδιαστημική
- κατά
- AI / ML
- Όλα
- διανέμω
- επιτρέπουν
- επιτρέπεται
- Επιτρέποντας
- επιτρέπει
- Επίσης
- Αν και
- Amazon
- Amazon EC2
- Amazon υπηρεσίες Web
- an
- ανάλυση
- αναλύσει
- και
- απάντηση
- απάντηση
- κάθε
- app
- Εφαρμογή
- εφαρμογές
- εφαρμοσμένος
- πλησιάζω
- κατάλληλος
- αρχιτεκτονική
- αρχιτεκτονική
- αρχιτεκτονικές
- ΕΙΝΑΙ
- ΠΕΡΙΟΧΗ
- περιοχές
- επιχείρημα
- AS
- ζητώ
- ρώτησε
- ζητώντας
- βοηθήσει
- συσχετισμένη
- At
- συνημμένο
- ήχου
- Πιστοποίηση
- εξουσιοδοτημένο
- αυτομάτως
- διαθέσιμος
- AWS
- πίσω
- Υπόλοιπο
- βασικός
- BE
- γίνεται
- ήταν
- πριν
- Αρχή
- είναι
- όφελος
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- μεταξύ
- άνθηση
- Bot
- ευρύς
- χτίζω
- χτισμένο
- αλλά
- by
- που ονομάζεται
- CAN
- που
- κουβαλάω
- περίπτωση
- Αιτία
- πιστοποιητικό
- πιστοποιητικά
- προκλήσεις
- αλλαγή
- Αλλαγές
- Κανάλι
- chat
- chatbot
- chatbots
- Επιλέξτε
- πολιτικής
- καθαρός
- cli
- πελάτης
- Backup
- Cloud9
- κωδικός
- συλλέγουν
- σε συνδυασμό
- σχόλια
- Επικοινωνία
- Διαβιβάσεις
- πλήρης
- Υπολογίστε
- υπολογιστή
- Computer Vision
- Πιθανά ερωτήματα
- κατάσταση
- εμπιστευτικός
- διαμόρφωση
- έχει ρυθμιστεί
- σύνδεση
- Συνδεσιμότητα
- Εξετάστε
- πρόξενος
- περιέχουν
- περιέχουν
- Περιέχει
- περιεχόμενο
- ελέγχους
- σωστά
- θα μπορούσε να
- CPU
- δημιουργία
- δημιουργήθηκε
- ΠΙΣΤΟΠΟΙΗΤΙΚΟ
- Διαπιστεύσεις
- κρυπτογραφικό
- Ρεύμα
- πελάτης
- στοιχεία πελάτη
- προσαρμόσιμη
- ημερομηνία
- Προστασία προσωπικών δεδομένων
- Αποκρυπτογράφηση
- αποκρυπτογράφηση
- def
- Άμυνα
- καταδεικνύει
- παρατάσσω
- αναπτυχθεί
- αναπτύξεις
- περιγράφουν
- σχεδιασμένα
- Προσδιορίστε
- ανάπτυξη
- Ανάπτυξη
- διάγραμμα
- ψηφιακό
- κατάλογο
- συζητήσουν
- συζητάει
- οθόνες
- Λιμενεργάτης
- έγγραφο
- έγγραφα
- Μην
- κατεβάσετε
- δυο
- κατά την διάρκεια
- Νωρίτερα
- συντάκτης
- εκπαιδευτικών
- αποτέλεσμα
- Υπάλληλος
- ενεργοποιήσετε
- ενεργοποιημένη
- θύλακα
- κρυπτογράφηση
- κρυπτογραφημένα
- τέλος
- Τελικό σημείο
- μηχανικός
- Κινητήρες
- ενίσχυση
- Ενισχύει
- αρκετά
- Περιβάλλον
- περιβάλλοντα
- Αιθέρας (ΕΤΗ)
- εκδηλώσεις
- εξετάζω
- παράδειγμα
- Εκτός
- διήθηση
- ρητά
- εκτεθειμένος
- Έκθεση
- εξωτερικός
- Απέτυχε
- Χαρακτηριστικό
- Χαρακτηριστικά
- Εικόνα
- Αρχεία
- Αρχεία
- τελικός
- οικονομικός
- εστιάζει
- ακολουθήστε
- Εξής
- εξής
- ποδόσφαιρο
- Για
- μορφή
- μορφές
- Τύχη
- τέσσερα
- Δωρεάν
- από
- λειτουργία
- περαιτέρω
- Κέρδος
- Games
- παράγουν
- παράγεται
- δημιουργεί
- γενεά
- παίρνω
- Git
- GitHub
- μετάβαση
- Κυβέρνηση
- Group
- Ομάδα
- Handles
- Χειρισμός
- υλικού
- Έχω
- he
- Υγεία
- πληροφορίες για την υγεία
- υγειονομική περίθαλψη
- βοήθεια
- βοηθά
- εδώ
- Τόνισε
- υψηλά
- του
- πατρίδα
- Εσωτερικής Ασφάλειας
- οικοδεσπότης
- φιλοξενείται
- Σπίτι
- σπίτια
- Πως
- Πώς να
- HTML
- http
- HTTPS
- i
- IAM
- ID
- αναγνωρίσιμος
- προσδιορίσει
- προσδιορισμό
- Ταυτότητα
- if
- εικόνα
- εικόνες
- Επίπτωση
- εφαρμοστεί
- εισαγωγή
- in
- ανακριβής
- περιλαμβάνουν
- περιλαμβάνονται
- Συμπεριλαμβανομένου
- ενσωματώνοντας
- ανακριβής
- υποδεικνύω
- βιομηχανίες
- πληροφορώ
- πληροφορίες
- εισαγωγή
- εισαγωγή
- μέσα
- εγκαθιστώ
- εγκατάσταση
- παράδειγμα
- περιπτώσεις
- ενσωματωθεί
- ολοκλήρωση
- διανοούμενος
- πνευματικής ιδιοκτησίας
- Νοημοσύνη
- διαδραστικό
- σε
- εισαγάγει
- εισάγοντας
- IP
- απομονωμένος
- απομόνωση
- IT
- ΤΟΥ
- joe
- json
- Justin
- Κλειδί
- γνώση
- Γλώσσα
- large
- μεγαλύτερος
- αργότερο
- στρώμα
- ηγέτης
- μάθηση
- ελάχιστα
- βιβλιοθήκες
- Μου αρέσει
- LIV
- ζω
- ζωές
- llm
- τοπικός
- τοπικά
- που βρίσκεται
- ματιά
- μοιάζει
- ΦΑΊΝΕΤΑΙ
- μηχανή
- μάθηση μηχανής
- μηχανήματα
- Κυρίως
- κάνω
- διαχειρίζεται
- διαχείριση
- Χειρισμός
- πολοί
- αγορές
- σπίρτα
- ανώτατο όριο
- Ενδέχεται..
- μέτρηση
- Μνήμη
- Μεταδεδομένα
- μέθοδοι
- πρακτικά
- Μετριάζω
- Τρόπος
- μοντέλο
- εκσυγχρονισμός
- τροποποιημένο
- τροποποιήσει
- ενότητες
- περισσότερο
- πλέον
- πολύ
- πολλαπλούς
- πρέπει
- όνομα
- Φυσικό
- Φυσική γλώσσα
- Επεξεργασία φυσικής γλώσσας
- Πλοήγηση
- ne
- απαραίτητος
- Ανάγκη
- ανάγκες
- δικτύωσης
- Νέα
- Nitro
- Όχι.
- Ν/Α
- σημείωση
- τώρα
- of
- προσφορές
- Office
- on
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- or
- τάξη
- επιχειρήσεις
- ΑΛΛΑ
- δικός μας
- έξω
- εκτός
- επί
- επισκόπηση
- ιδιοκτήτες
- Packages
- παράθυρο
- παράμετροι
- δικαιώματα
- προσωπικός
- Προσωπικά
- pii
- Απλό κείμενο
- σχέδιο
- σχεδιασμό
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παιχνίδι
- πολιτική
- τμήμα
- δυνατός
- Θέση
- δυναμικού
- πρακτικές
- προαπαιτούμενο
- προαπαιτούμενα
- πρόεδρος
- προηγούμενος
- πρωτίστως
- Κύριος
- αρχές
- μυστικότητα
- Απειλές απορρήτου
- ιδιωτικός
- διαδικασια μας
- Διεργασίες
- μεταποίηση
- παραγωγή
- σχέδιο
- περιουσία
- προστασία
- προστατεύονται
- πρωτόκολλο
- Αποδείξτε
- παρέχουν
- παρέχεται
- παρέχει
- πληρεξούσιο
- δημόσιο
- σκοποί
- ερωτήματα
- απορία
- ερώτηση
- Ερωτήσεις
- λαμβάνει
- συνιστώ
- μειώνει
- περιοχή
- μητρώα
- στη συνέχεια συναρμολογούνται
- βασίζονται
- λείψανα
- ζητήσει
- αιτήματα
- απαιτείται
- απαιτήσεις
- Απαιτεί
- έρευνα
- ερευνητής
- επιφυλάχθηκε
- πόρος
- Υποστηρικτικό υλικό
- απάντησης
- απαντήσεις
- περιορίζοντας
- Περιοριστικός
- αποτέλεσμα
- με αποτέλεσμα
- διατηρώ
- συνταξιοδότηση
- απόδοση
- Αποκαλυφθε'ντα
- Κίνδυνος
- κινδύνους
- Ρόλος
- ρίζα
- τρέξιμο
- τρέξιμο
- προστασία
- διασφάλιση
- ίδιο
- δείγμα
- Αποθήκευση
- αποθηκεύονται
- Κλίμακα
- Επιστήμη
- Επιστήμη και Τεχνολογία
- SDK
- Αναζήτηση
- Οι μηχανές αναζήτησης
- Τμήμα
- τομέας
- προστατευμένο περιβάλλον
- Ασφαλής
- ασφαλώς
- ασφάλεια
- επιλογή
- αποστέλλει
- ευαίσθητος
- αποστέλλονται
- συναίσθημα
- Σειρές
- διακομιστής
- Διακομιστές
- υπηρεσία
- Υπηρεσίες
- σειρά
- ρυθμίσεις
- θα πρέπει να
- παρουσιάστηκε
- παρουσιάζεται
- κλείσιμο
- σημαντικά
- Μέγεθος
- So
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- μερικοί
- συγκεκριμένες
- ειδικά
- Εκκίνηση
- ξεκίνησε
- Δήλωση
- Βήμα
- Βήματα
- χώρος στο δίσκο
- αποθηκεύονται
- τέτοιος
- Sudo
- επαρκής
- υποστήριξη
- Στήριξη
- βέβαιος
- Επιφάνεια
- σύστημα
- συστήματα
- Πάρτε
- λαμβάνεται
- Τεχνικός
- Τεχνολογία
- προσωρινή
- τερματικό
- Δοκιμές
- κείμενο
- ότι
- Η
- η ασφάλεια
- τους
- τότε
- Αυτοί
- αυτοί
- αυτό
- εκείνοι
- απειλές
- Μέσω
- παντού
- ώρα
- φορές
- TLS
- προς την
- ένδειξη
- εκπαιδευμένο
- διαμετακόμιση
- Μετάφραση
- Ταξίδια
- Εμπιστευθείτε
- προσπαθώ
- ανεξουσιοδότητος
- υπό
- καταλαβαίνω
- μοναδικός
- απεριόριστος
- Ενημέρωση
- ενημερώθηκε
- URL
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- μεταβλητή
- επαληθεύει
- εκδοχή
- μέσω
- μέγγενη
- Vice President
- Δες
- Παραβιάσεις
- Πραγματικός
- εικονική μηχανή
- ορατός
- όραμα
- ζεστός
- ήταν
- Τρόπος..
- τρόπους
- we
- Weather
- ιστός
- εφαρμογές ιστού
- διαδικτυακές υπηρεσίες
- Τι
- πότε
- Ποιό
- Ο ΟΠΟΊΟΣ
- θα
- με
- εντός
- χωρίς
- Εργασία
- εργάστηκαν
- εργαζόμενος
- του κόσμου
- X
- εσείς
- Σας
- zephyrnet