Το Bio Eats World: Χρησιμοποιώντας την Τεχνητή Νοημοσύνη για να πάρει το Bio Μακρύτερα

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Σε αυτό το επεισόδιο, ο Vijay Pande μιλά με τον Jakob Uszkoreit, τον συνιδρυτή και διευθύνοντα σύμβουλο της Inceptive. Μαζί, συζητούν όλα τα πράγματα AI.

Δημοσιεύουμε τη μεταγραφή αναλυτικά παρακάτω, σε περίπτωση που θέλετε να διαβάσετε μαζί.

***

Ολίβια Γουέμπ: Γεια σας, και καλώς ήρθατε στο Bio Eats World, ένα podcast στο σημείο που συνδυάζει βιο, υγειονομική περίθαλψη και τεχνολογία. Είμαι η Olivia Webb, η επικεφαλής σύνταξης για το Bio + Health στο a16z. Σε αυτό το επεισόδιο, μιλήσαμε με τον Jakob Uszkoreit, πρώην μέλος της Google Brain και τον συνιδρυτή του Inceptive. Ο Jakob είναι επίσης ένας από τους συγγραφείς της θεμελιώδους ερευνητικής εργασίας για την τεχνητή νοημοσύνη Attention is All You Need, την οποία θα συνδέσουμε στις σημειώσεις της εκπομπής. Ο Jakob κάθισε με τον Vijay Pande, ιδρυτικό συνεργάτη της a16z Bio + Health για να μιλήσει για όλα τα πράγματα AI: από την εποχή του στο Google Brain, μέχρι τον τρόπο με τον οποίο οι άνθρωποι και οι υπολογιστές επεξεργάζονται τη γλώσσα, την πίστη του Inceptive στην υπόσχεση του RNA και πώς ο Jakob πιστεύει ότι εμείς εισέρχεστε στην περιοχή του σημείου καμπής με AI.

Είναι ένα επεισόδιο που δεν θέλετε να χάσετε—αλλά είναι επίσης μια συζήτηση σε επίπεδο μεταπτυχιακού για την τεχνητή νοημοσύνη, οπότε θα δημοσιεύσουμε μια μεταγραφή μαζί με το επεισόδιο. Ας αρχίσουμε.

Εφαρμοστέοι αλγόριθμοι

Vijay Pande: Γι' αυτό, Jakob, σε ευχαριστώ πολύ που είσαι στο Bio Eats World. Είναι υπέροχο που σε έχω.

Jakob Uszkoreit: Υπέροχο που είμαι εδώ. Σας ευχαριστώ που με έχετε.

Vijay Pande: Ειδικά επειδή έχετε μια τόσο συναρπαστική ιστορία ως επιστήμονας υπολογιστών και επιχειρηματίας και ιδρυτής, θα ήθελα πολύ να μας καθοδηγήσετε στο ταξίδι της καριέρας σας, ξεκινώντας από όπου θέλετε, αλλά αυτό που σας οδήγησε στο Google Brain είναι πιθανώς ένα ωραίο μέρος για να ξεκινήσετε .

Jakob Uszkoreit: Θυμάμαι, σε κάποιο βαθμό, πραγματικά, ε, να αντιμετωπίζω αυτό το πρόβλημα της μηχανικής μάθησης, ίσως με την ευρύτερη έννοια, [και] της κατανόησης της γλώσσας, κάπως πιο συγκεκριμένα, ως ένα ζήτημα που τρέχει στην οικογένεια. Ο μπαμπάς μου λοιπόν είναι επιστήμονας υπολογιστών και γλωσσολόγος υπολογιστών και, ξέρετε, τα πράγματα όπως οι μηχανές Turing δεν ήταν απαραίτητα εντελώς ξένες έννοιες αρκετά νωρίς.

Vijay Pande: Ναι, ακούγεται σαν να ήταν μια συζήτηση στο τραπέζι, στην πραγματικότητα.

Jakob Uszkoreit: Ήταν συζητήσεις για το δείπνο. Και έτσι ειδικά τα πεπερασμένα αυτόματα, και η σχέση τους με τους αυτόματους πωλητές, ήταν, ξέρετε, κοινά θέματα. Όσο μεγάλωνα, τόσο περισσότερο ήθελα να διασφαλίσω ότι κατέληξα να κάνω κάτι διαφορετικό. Και έτσι κατέληξα να ψάξω αρκετά καθαρά μαθηματικά και σχετικούς τομείς εκεί. [Εγώ] επικεντρώθηκα πραγματικά αρκετά στη βελτιστοποίηση, στους αλγόριθμους βελτιστοποίησης, στους αλγόριθμους συνολικά, στην ευρύτερη θεωρία πολυπλοκότητας, πριν συνειδητοποιήσω ότι ίσως αυτό δεν ήταν το πιο πρακτικό και το πιο εφαρμόσιμο πράγμα, που, ξέρετε, κάπως έχει γίνει λίγο κόκκινο νήμα σε όλη την καριέρα μου. Και μετά κυριολεκτικά σκοντάφτουμε σε μια πρακτική άσκηση στην Google το 2005.

Μου δόθηκαν μερικές διαφορετικές επιλογές [ως προς] σε τι είδους ερευνητικά έργα να συμμετάσχω, [και] μεταξύ αυτών ήταν διαφορετικές προσπάθειες υπολογιστικής όρασης, αλλά και το έργο αυτόματης μετάφρασης που βασικά έγινε Google Translate. Ακριβώς εκείνη την εποχή, ή λίγο πριν από αυτό, η [Translate] κυκλοφόρησε το πρώτο της προϊόν που τροφοδοτήθηκε πραγματικά από εσωτερικά συστήματα της Google που αναπτύχθηκαν και κατά κάποιο τρόπο, προς μεγάλη μου απογοήτευση, αποδεικνύεται ότι η Μετάφραση Google στο ο χρόνος είχε μακράν τα πιο ενδιαφέροντα προβλήματα αλγορίθμων μεγάλης κλίμακας.

Εκείνη την εποχή, ήταν πραγματικά ενδιαφέρον να το δω, γιατί αυτό που με έπεισε να ακυρώσω το διδακτορικό μου και να επιστρέψω στην Google μετά από αυτή την πρακτική άσκηση, ήταν πραγματικά ότι έγινε εμφανές στην εποχή μου εκεί ότι αν ήθελες να εργαστείς σε κάτι στο μηχανική μάθηση που δεν ήταν μόνο ενδιαφέρουσα και ας πούμε πνευματικά και επιστημονικά, συναρπαστική, προκλητική και διεγερτική, αλλά είχε επίσης πολύ μεγάλες ελπίδες να κινηθεί αμέσως η βελόνα στη βιομηχανία και στα προϊόντα. Πραγματικά, εκείνη την εποχή, δεν υπήρχαν πολλά μέρη στον κόσμο. Και σίγουρα δεν ήταν ακαδημαϊκά εργαστήρια εκείνη την εποχή, αλλά πολύ μέρη όπως η Google. Και η Google εκεί και τότε ήταν στην πραγματικότητα πολύ στην πρώτη γραμμή αυτού. Και έτσι, ξέρετε, εκείνη την εποχή σκέφτηκα ότι ήταν καταπληκτικό να τρέξω τους πρώτους μου αλγόριθμους ομαδοποίησης μεγάλης κλίμακας σε χίλιες μηχανές, και ήταν απλώς, απολύτως αδύνατο να το κάνω αλλού.

Vijay Pande: Όταν μιλάτε με τους ανώτερους συναδέλφους μας, υπάρχει πολύς ρομαντισμός στην εποχή της ακμής των Bell Labs και πάντα αναρωτιόμουν αν το Google Brain μπορεί να είναι μια από τις πιο κοντινές παραλλαγές σήμερα. Πώς ήταν το περιβάλλον;

Jakob Uszkoreit: Οπότε νιώθω πραγματικά μεταξύ εκείνης της εποχής και όταν το Google Brain ξεκίνησε πραγματικά, δηλαδή περίπου πέντε χρόνια αργότερα, υπήρξε μια σημαντική αλλαγή. Πριν ξεκινήσουν το Brain and Translate, καθοδηγούνταν πολύ περισσότερο από προϊόντα που έκαναν πραγματικά τη διαφορά από ό,τι πιστεύω ότι ήταν η Bell Labs. Και είχαμε έναν καλό αριθμό αποφοίτων των Bell Labs, φυσικά, ανάμεσά μας, αλλά ήταν πολύ περισσότερο υποκινούμενο από την άμεση εφαρμογή.

Κάτι που για μένα ήταν πραγματικά εκπληκτικό να παρακολουθήσω, πώς η αυτόματη μετάφραση μετατράπηκε [από κάτι που] ήταν καλό για γέλια σε ένα πάρτι, κυριολεκτικά. Αν σε ρωτούσαν πού δουλεύεις; Και είπες, Google. Και μετά είπαν, τι κάνεις εκεί; Και στην αρχή εντυπωσιάστηκαν. Και μετά είπες, ω, δουλεύω στο Google Translate. Και μετά γέλασαν και ρώτησαν, θα λειτουργήσει ποτέ αυτό; Δεν νομίζω. Αλλά τότε την ίδια στιγμή, θα έλεγα ότι το κύμα μηχανικής μάθησης, το αναγεννησιακό κύμα μηχανικής μάθησης πριν από τη βαθιά μάθηση, άρχισε να ανεβαίνει. Ξέρετε, η βαθιά μάθηση ήταν κάτι που είχα κάνει στο παρελθόν στο σχολείο, και μου άρεσε, αλλά δεν ήταν κάτι που θα μπορούσατε πραγματικά να εφαρμόσετε εκείνες τις μέρες.

Vijay Pande: Ναι, ειδικά επειδή δεν είχατε την κλίμακα στον ακαδημαϊκό χώρο για να κάνετε τους υπολογισμούς που θα έπρεπε να κάνετε.

Jakob Uszkoreit: Σίγουρα όχι στον ακαδημαϊκό χώρο, αλλά ακόμη και στη Google. Παρόλο που εκείνη την εποχή, στο Translate, στην πραγματικότητα, το πιο ενδιαφέρον χαρακτηριστικό γνώρισμα ήταν, θα έλεγα, πιστεύαμε πραγματικά στην απόλυτη δύναμη των δεδομένων στο τέλος της ημέρας.

Προσπαθούσαμε λοιπόν να μην κάνουμε πιο περίπλοκους, πιο εξελιγμένους αλγόριθμους, αλλά αντίθετα να τους απλοποιήσουμε και να τους κλιμακώσουμε όσο το δυνατόν περισσότερο και στη συνέχεια να τους επιτρέψουμε να εκπαιδεύονται σε όλο και περισσότερα δεδομένα. Αλλά χτυπήσαμε ένα ταβάνι εκεί. Οι απλοποιήσεις που έπρεπε να κάνετε για να τις κλιμακώσετε σε ό,τι ήταν εκείνη την εποχή η κλίμακα της Google, αυτός ήταν πραγματικά ο στόχος μας. Αλλά τότε, και αυτό ήταν κάπως μία από αυτές τις κινήσεις εκκρεμούς, που γυρνούσαν πίσω, έξω από τον ακαδημαϊκό χώρο, ένα σωρό άτομα με ένα σωρό GPU - η βαθιά μάθηση επέστρεψε υπό μια ορισμένη έννοια με μια εκδίκηση. Και ξαφνικά το περιβάλλον προσαρμόστηκε, γιατί δεν ήταν ξεκάθαρο ποια θα ήταν η άμεση διαδρομή στην παραγωγή.

Και έτσι ολόκληρο το περιβάλλον μετατράπηκε από το να είναι περισσότερο προσανατολισμένο στις εφαρμογές και τα προϊόντα, σε κάτι που τουλάχιστον αισθανόταν για αρκετά χρόνια, πολύ πιο ακαδημαϊκό. Εξακολουθεί να είναι λίγο διαφορετικό από τα ακαδημαϊκά εργαστήρια, επειδή μπορούσαμε να αντέξουμε οικονομικά πολύ περισσότερες GPU, αλλά πολύ περισσότερο ευθυγραμμισμένο, υπό μια ορισμένη έννοια, με αυτήν την ιδέα ότι [να οδηγούμαστε] από δημοσιεύσεις, με άλματα και όχι βήματα. [Αυτό] μετατράπηκε σε ένα πολύ, πολύ παραγωγικό - και πραγματικά εκπληκτικό - αλλά πολύ πιο ανοιχτό [περιβάλλον].

Η προσοχή είναι το μόνο που χρειάζεστε

Vijay Pande: Λοιπόν, ξέρετε, μιλώντας για δημοσιεύσεις, ένα φυσικό μέρος για να σκεφτείτε είναι όταν εσείς και η ομάδα δημοσιεύσατε το Attention is All You Need. Και, ξέρετε, αυτό ήταν ένα τόσο θεμελιώδες έγγραφο για τόσο μεγάλο μέρος της παραγωγικής τεχνητής νοημοσύνης από τότε που παρουσιάστηκε για πρώτη φορά ο αλγόριθμος μετασχηματιστή.

Jakob Uszkoreit: Δύο χρόνια πριν από τη δημοσίευση αυτού του εγγράφου, συνειδητοποιήσαμε [ότι] αυτό που ήταν τότε τελευταίας τεχνολογίας για προβλήματα όπως η αυτόματη μετάφραση ή [τι] αναδυόταν ως τελευταίας τεχνολογίας, δηλαδή το LSTM ή το RNN , το Seq2Seq συνολικά ως πρότυπο εκπαίδευσης και ως εγκατάσταση, αλλά και ως αρχιτεκτονική δικτύου—είχε απίστευτα προβλήματα ακόμη και στις πιο σύγχρονες GPU της εποχής, όσον αφορά την κλιμάκωση όσον αφορά τα δεδομένα.

Για παράδειγμα, το πρώτο σύστημα νευρωνικής μηχανικής μετάφρασης που κυκλοφόρησε η Google, το GNMT, στην πραγματικότητα, εξ όσων γνωρίζω, δεν εκπαιδεύτηκε ποτέ σε όλα τα εκπαιδευτικά δεδομένα που είχαμε διαθέσιμα, τα οποία είχαμε εξορύξει προηγουμένως για τα στατιστικά συστήματα που βασίζονται σε φράσεις. Και αυτό συνέβη επειδή οι αλγόριθμοι απλώς δεν είχαν καλή κλίμακα όσον αφορά τον όγκο των δεδομένων. Οπότε, εν συντομία, δεν αναζητούσαμε εκείνη τη στιγμή την αυτόματη μετάφραση, αλλά τα προβλήματα όπου, εσωτερικά στη Google, είχαμε ακόμη μεγαλύτερες ποσότητες δεδομένων εκπαίδευσης διαθέσιμα. Αυτά λοιπόν ήταν προβλήματα που βγήκαν από αναζήτηση, όπου βασικά έχεις άλλες τρεις ή τέσσερις τάξεις μεγέθους. Ξέρετε, τώρα δεν υπάρχουν πια δισεκατομμύρια λέξεις, αλλά τρισεκατομμύρια εύκολα, και ξαφνικά συναντήσαμε αυτό το μοτίβο όπου τα απλά δίκτυα ανατροφοδότησης, παρόλο που έκαναν γελοίες απλοποιητικές υποθέσεις όπως, είναι απλώς ένας σάκος λέξεων ή είναι απλώς ένας σάκος με διγράμματα , και τους βγάζετε κατά μέσο όρο και τους στέλνετε μέσω ενός μεγάλου MNLP, στην πραγματικότητα ξεπέρασαν τα RNN και τα LSTM, τουλάχιστον όταν εκπαιδεύτηκαν σε περισσότερα δεδομένα.

[Και ήταν] n-φορές πιο γρήγοροι, εύκολα 10, 20 φορές πιο γρήγοροι, για να προπονηθούν. Και έτσι μπορείτε να τους εκπαιδεύσετε σε πολύ περισσότερα δεδομένα. Σε ορισμένες περιπτώσεις, [ήταν] εκατό φορές πιο γρήγοροι στην προπόνηση. Και έτσι συνεχίσαμε σταθερά να καταλήγουμε σε μοντέλα που ήταν πιο απλά και που δεν μπορούσαν να εκφράσουν ή να αποτυπώσουν ορισμένα φαινόμενα που γνωρίζουμε ότι είναι σίγουρα κοινά στη γλώσσα.
Και όμως, ξέρετε, τελικά, ήταν φθηνότερο στην προπόνηση και [είχαν] καλύτερες επιδόσεις.

Vijay Pande: Ας δώσουμε απλώς ένα παράδειγμα για άτομα που δεν είναι εξοικειωμένα. Λοιπόν, αν έλεγα, δείξε μου όλα τα κοντινά εστιατόρια εκτός από τα ιταλικά, θα σου δείξει όλα τα ιταλικά εστιατόρια, σωστά;

Jakob Uszkoreit: Ακριβώς. Στην πραγματικότητα, αυτό που είπες μπορεί να παραγγελθεί εκ νέου, για να μου δείξει όλα τα ιταλικά εστιατόρια εκτός από τα κοντινά. Είναι απλά μια σούπα λέξεων και μπορείς να το αναδιατάξεις σε κάτι που σίγουρα σημαίνει κάτι διαφορετικό.

Vijay Pande: Ναί.

Jakob Uszkoreit: Και μετά προσεγγίζετε κατά προσέγγιση τη δομή και τα πιο παγκόσμια φαινόμενα βάζοντας διγράμματα. Ουσιαστικά λοιπόν ομάδες δύο διαδοχικών λέξεων και τέτοια πράγματα. Αλλά είναι σαφές ότι, σίγουρα σε γλώσσες όπως τα γερμανικά, όπου μπορείτε βασικά να βάλετε το ρήμα στο τέλος μιας πρότασης…

Vijay Pande: Και αλλάζει όλο το νόημα, σωστά;

Jakob Uszkoreit: Αλλάζει όλο το νόημα, ακριβώς, ναι. Ανεξάρτητα από το μέγεθος των n-γραμμαρίων σας —ή των μικρών σας ομάδων λέξεων—, τελικά δεν θα τα καταφέρετε. Και έγινε σαφές σε εμάς ότι πρέπει να υπάρχει ένας διαφορετικός τρόπος που δεν απαιτεί την επανάληψη του RNN σε μήκος, ή την επανάληψη στη σειρά, λέμε λέξεις ή pixel, αλλά που στην πραγματικότητα επεξεργάζεται τις εισόδους και τις εξόδους με πιο παράλληλο τρόπο και πραγματικά καλύπτουν τελικά τα δυνατά σημεία του σύγχρονου υλικού επιταχυντή.

Vijay Pande: Σκεφτείτε το, όπως μια τσάντα με λέξεις είναι οι λέξεις σε τυχαία σειρά. Το LSTM, ή η μακροπρόθεσμη μνήμη, ίσως σας δίνει κάποιου είδους [ικανότητα] να κοιτάξετε [στο] παρελθόν λίγο, σωστά; Αλλά οι μετασχηματιστές κάνουν κάτι ριζικά διαφορετικό. Πώς οι μετασχηματιστές το πηγαίνουν στο επόμενο επίπεδο;

Jakob Uszkoreit: Υπάρχουν πάντα δύο τρόποι να το δεις αυτό. Το ένα είναι μέσω του φακού της αποτελεσματικότητας, αλλά ο άλλος τρόπος που είναι ίσως λίγο πιο διαισθητικός είναι να το δούμε από την άποψη του, ξέρετε, πόσο πλαίσιο μπορείτε να διατηρήσετε. Και όπως είπατε, τα LSTM, ή τα επαναλαμβανόμενα νευρωνικά δίκτυα γενικά, κινούνται μέσα από τις εισόδους τους βήμα-βήμα, σε γενικές γραμμές, και ενώ, θεωρητικά, είναι σε θέση να διατηρούν αυθαίρετα μεγάλα παράθυρα περιβάλλοντος σε εισόδους - το παρελθόν - τι συμβαίνει στην πράξη είναι ότι είναι πραγματικά πολύ δύσκολο για αυτούς να αναγνωρίσουν γεγονότα, να πουν λέξεις ή εικονοστοιχεία, που είναι πολύ μακρινά στο παρελθόν και επηρεάζουν πραγματικά το νόημα στο τέλος της ημέρας. Τείνουν να εστιάζουν σε πράγματα που βρίσκονται κοντά.

Ο μετασχηματιστής, από την άλλη πλευρά, βασικά απλώς το γυρίζει από το κεφάλι του και λέει, όχι, σε κάθε βήμα αυτό που κάνουμε είναι να μην κινείται μέσα από την είσοδο. Σε κάθε βήμα, εξετάζουμε το σύνολο της εισόδου ή της εξόδου και ουσιαστικά αναθεωρούμε σταδιακά τις αναπαραστάσεις κάθε λέξης ή κάθε εικονοστοιχείου ή κάθε ενημέρωση κώδικα ή κάθε καρέ ενός βίντεο, όπως βασικά κινούμαστε, όχι στον χώρο εισόδου , αλλά σε χώρο αναπαράστασης.

Vijay Pande: Ναί.

Jakob Uszkoreit: Και αυτή η ιδέα είχε κάποια μειονεκτήματα όσον αφορά το πώς θα την τοποθετούσατε στο σύγχρονο υλικό, αλλά σε σύγκριση με τα επαναλαμβανόμενα νευρωνικά δίκτυα, είχε κυρίως πλεονεκτήματα, επειδή τώρα δεν δεσμευόσαστε να υπολογίζετε διαδοχικά τις αναπαραστάσεις, ας πούμε, λέξη προς λέξη. Αυτό με το οποίο σας δέσμευε είναι, αλήθεια, πόσο καλοί θα έπρεπε να είναι; Πόσα επίπεδα αυτού του είδους παράλληλης επεξεργασίας όλων των θέσεων όπου τα πάντα, όπου όλα τα ζεύγη λέξεων ή όλα τα ζεύγη μπαλωμάτων εικόνας μπορούν να αλληλεπιδράσουν αμέσως; Πόσες αναθεωρήσεις αυτών των αναπαραστάσεων μπορώ πραγματικά να «αντέξω οικονομικά»;

Vijay Pande: Αυτό που είναι πραγματικά ενδιαφέρον επίσης είναι ότι προφανώς η έμπνευση είναι η φυσική γλώσσα, αλλά ότι υπάρχουν πολλές δομές που θα θέλατε να εισαγάγετε όπου δεν θέλετε να τις μελετήσετε απλώς διαδοχικά, όπως μια αλληλουχία DNA - και θα μπούμε στη βιολογία αρκετά σύντομα—ότι θέλετε να έχετε ένα μοντέλο του συνόλου.

Είναι κάπως αστείο με τη γλώσσα. Όταν μιλώ ή όταν σας ακούω, επεξεργάζομαι κάθε λέξη, αλλά τελικά δεν πρέπει απλώς να συνδυάσω τις λέξεις σε μεμονωμένες έννοιες, αλλά πρέπει να αναπτύξω αυτή την αναπαράσταση. Ναί? Μακάρι να μπορούσαμε να το κάνουμε όπως κάνουν οι μετασχηματιστές. Και ίσως αυτό είναι το κόλπο ότι τα LSTM είναι πιο κοντά στον τρόπο που το κάνουμε εμείς οι άνθρωποι, και οι μετασχηματιστές είναι ίσως ακριβώς ο τρόπος που θα έπρεπε να το κάνουμε, ή θα ήθελα να μπορούσαμε να το κάνουμε.

Jakob Uszkoreit: Επιφανειακά, νομίζω ότι αυτό είναι αλήθεια, αν και στο τέλος της ημέρας — εσωτερικά επιχειρήματα όπως αυτά είναι λεπτές και δύσκολα.

Οπότε υποθέτω ότι πολλοί από εμάς γνωρίζουμε αυτό το φαινόμενο όπου φωνάζετε ή φωνάζετε με κάποιον που προσπαθεί να επικοινωνήσει κάτι σε έναν πολυσύχναστο δρόμο. Και έτσι ακούς κάτι που λένε, και δεν είναι μια σύντομη αλληλουχία λέξεων, και βασικά δεν κατάλαβες τίποτα. Αλλά μετά από μισό δευτερόλεπτο, ξαφνικά κατάλαβες ολόκληρη την πρόταση. Στην πραγματικότητα υπονοεί το γεγονός ότι ενώ είμαστε αναγκασμένοι να γράφουμε και να προφέρουμε τη γλώσσα με διαδοχικό τρόπο -ακριβώς λόγω του βέλους του χρόνου- δεν είναι τόσο σαφές ότι η βαθύτερη κατανόησή μας τρέχει πραγματικά με αυτόν τον διαδοχικό τρόπο.

Δημιουργία ομάδας

Vijay Pande: Αν κάποιος μελετήσει έστω και μόνο το χαρτί Προσοχή είναι το μόνο που χρειάζεστε ή πώς λειτουργεί ένας μετασχηματιστής, υπάρχουν πολλά μέρη σε αυτό. Και φαίνεται ότι μάλλον έχει πλέον ξεπεραστεί το σημείο όπου ένα άτομο θα μπορούσε να κάνει αποτελεσματικά αυτή τη δουλειά μόνο του σε οποιοδήποτε σύντομο χρονικό διάστημα.

Jakob Uszkoreit: Απολύτως.

Vijay Pande: Τώρα λοιπόν χρειάζεστε πραγματικά μια ομάδα ανθρώπων για να κάνετε τέτοιου είδους πράγματα. Ποια είναι η κοινωνιολογία αυτού; Πώς προκύπτει κάτι τέτοιο;

Jakob Uszkoreit: Η συγκεκριμένη περίπτωση, προσωπικά θεωρώ ότι είναι ένα πραγματικά υπέροχο παράδειγμα κάτι που ταιριάζει εξαιρετικά σε μια πιο, ας πούμε, βιομηχανική προσέγγιση της επιστημονικής έρευνας. Γιατί έχεις απόλυτο δίκιο. Αυτή δεν ήταν η μοναδική σπίθα φαντασίας και δημιουργικότητας που τα πυροδοτεί όλα.

Ήταν πραγματικά ένα σωρό συνεισφορές που ήταν όλες απαραίτητες, τελικά. Έχοντας ένα περιβάλλον, μια βιβλιοθήκη - η οποία αργότερα ήταν επίσης ανοιχτού κώδικα, με το όνομα Tensor2Tensor - που στην πραγματικότητα περιλάμβανε υλοποιήσεις. Και όχι οποιεσδήποτε υλοποιήσεις, αλλά εξαιρετικά καλές υλοποιήσεις, γρήγορες υλοποιήσεις όλων των ειδών των τεχνασμάτων βαθιάς εκμάθησης.
Αλλά στη συνέχεια, επίσης, μέχρι αυτούς τους μηχανισμούς προσοχής που προέκυψαν από προηγούμενες δημοσιεύσεις —όπως το αποσυνθετικό μοντέλο προσοχής [που είχε] δημοσιευτεί πριν— αλλά στη συνέχεια συνδυάστηκαν στην πραγματικότητα με βελτιώσεις και καινοτομίες, εφευρέσεις γύρω από βελτιστοποιητές. Δεν θα βρείτε ανθρώπους, νομίζω, που είναι πραγματικά μεταξύ των κορυφαίων ειδικών στον κόσμο σε όλα αυτά ταυτόχρονα και που είναι πραγματικά εξίσου παθιασμένοι με όλες αυτές τις πτυχές.

Vijay Pande: Και ειδικά υπάρχει η αρχική ιδέα, υπάρχει η υλοποίησή της, υπάρχει η κλιμάκωσή της. Η επίτευξη αυτού του τύπου κλίμακας οπουδήποτε αλλού εκτός από μια μεγάλη εταιρεία, αυτή τη στιγμή, μάλλον δεν είναι εφικτό να γίνει μόνο λόγω του κόστους.

Jakob Uszkoreit: Θα πίστευα ότι στην πραγματικότητα ίσως η πτυχή της μεγάλης εταιρείας δεν είναι τόσο κρίσιμη.

Vijay Pande: Ναι?

Jakob Uszkoreit: Η πτυχή της εταιρείας είναι κάτι που θα εκτιμούσα περισσότερο. Η μεγάλη εταιρεία σίγουρα δεν βλάπτει αν χρειάζεστε χιλιάδες και χιλιάδες TPU ή GPU ή τι έχετε. Οι βαθιές τσέπες δεν πονάνε ποτέ για τέτοιου είδους πράγματα. Αλλά την ίδια στιγμή, πιστεύω ότι η δομή κινήτρων γύρω από αυτό το είδος διερευνητικής έρευνας στη βιομηχανία είναι πολύ πιο κατάλληλη για αυτού του είδους τα έργα. Και νομίζω ότι αυτό είναι στην πραγματικότητα κάτι που βλέπουμε, εξετάζοντας τα παραγωγικά έργα τεχνητής νοημοσύνης σε όλα τα επίπεδα.

Vijay Pande: Ναι. Και στο θέμα σου, θα μπορούσε να είναι μια startup.

Jakob Uszkoreit: Θα μπορούσε σίγουρα να είναι μια startup. Και νομίζω ότι βλέπουμε τώρα ότι η χρήση υλικού επιταχυντή γίνεται τουλάχιστον πιο προσιτή. Και υπάρχουν νεοσύστατες επιχειρήσεις που ανταγωνίζονται πολύ σε ό,τι αφορά τη γενετική τεχνητή νοημοσύνη που στοχεύει στη δημιουργία εικόνων ή στη δημιουργία κειμένου.

Μετάβαση στις βιοεπιστήμες

Vijay Pande: Θα ήθελα πολύ να μεταβώ σε αυτό που κάνετε τώρα. Είστε ο Διευθύνων Σύμβουλος της Inceptive, μιας εταιρείας που εφαρμόζει την τεχνητή νοημοσύνη στη βιολογία RNA για τη θεραπεία RNA. Πώς μεταπηδήσατε στις επιστήμες της ζωής; Επιφανειακά, το να μιλάμε για μοντέλα γλώσσας γύρω από το δείπνο [τραπέζι] και μετά γύρω από την καφετέρια της Google… φαίνεται ότι αυτό μπορεί να είναι ένα άλμα στην επόμενη γενιά θεραπευτικών. Πώς προέκυψε όλο αυτό;

Jakob Uszkoreit: Δεν θα μπορούσα να συμφωνήσω περισσότερο. Είναι μια καταπληκτική μαθησιακή εμπειρία, από το τέλος μου. Εδώ και αρκετό καιρό, η βιολογία με έπληξε ως ένα τέτοιο πρόβλημα όπου δεν φαίνεται αδιανόητο ότι υπάρχουν όρια στο πόσο μακριά μπορούμε να φτάσουμε όσον αφορά, ας πούμε, την ανάπτυξη φαρμάκων και τον άμεσο σχεδιασμό με την παραδοσιακή βιολογία ως τη ραχοκοκαλιά του τρόπου προχωρήστε στο σχεδιασμό —ή την ανακάλυψη μεθόδων σχεδιασμού— των φαρμάκων του μέλλοντος.

Φαίνεται ότι η βαθιά μάθηση, ειδικότερα, σε κλίμακα είναι, για πολλούς λόγους, δυνητικά ένα πραγματικά εύστοχο εργαλείο εδώ. Και ένας από αυτούς τους λόγους στην πραγματικότητα είναι κάτι που συχνά δεν χρεώνεται απαραιτήτως ως πλεονέκτημα, το οποίο είναι το γεγονός ότι είναι αυτό το μεγάλο μαύρο κουτί που μπορείτε απλά να ρίξετε σε κάτι. Και δεν είναι αλήθεια ότι μπορείς απλά να το πετάξεις. Είναι κάτι που πρέπει να ξέρεις πώς να το πετάξεις.

Vijay Pande: Και δεν είναι ούτε ακριβώς μαύρο. Μπορούμε να διαφωνήσουμε για αυτό αργότερα.

Jakob Uszkoreit: Ναι ακριβώς. Ακριβώς. Αλλά, στο τέλος της ημέρας, επιστρέφοντας στην αναλογία με τη γλώσσα, ποτέ δεν καταφέραμε να κατανοήσουμε πλήρως και να κατανοήσουμε τη γλώσσα στο βαθμό που θα μπορούσατε να ισχυριστείτε, ω, θα πάω τώρα να σας πω αυτή η θεωρία πίσω από τη γλώσσα, και στη συνέχεια θα μπορείτε να εφαρμόσετε έναν αλγόριθμο που την «καταλαβαίνει». Δεν φτάσαμε ποτέ σε αυτό το σημείο. Αντίθετα, έπρεπε να αποτύχουμε και να κάνουμε ένα βήμα πίσω και, κατά τη γνώμη μου, σε κάποιο βαθμό, να παραδεχτούμε στον εαυτό μας ότι αυτή μπορεί να μην ήταν η πιο ρεαλιστική προσέγγιση. Αντίθετα, θα πρέπει να δοκιμάσουμε προσεγγίσεις που δεν απαιτούν αυτό το επίπεδο εννοιολογικής κατανόησης. Και νομίζω ότι το ίδιο μπορεί να ισχύει για μέρη της βιολογίας.

Χρήση τεχνητής νοημοσύνης για να μεταφέρει τη βιο μακρύτερα

Vijay Pande: Είναι ενδιαφέρον, έχουμε ξαναμιλήσει για τέτοια πράγματα. Σκέφτεστε τον περασμένο αιώνα, [που ήταν] σε μεγάλο βαθμό ο αιώνας της φυσικής και του λογισμού. Υπάρχει μια συγκεκριμένη νοοτροπία εκεί όπου υπάρχει ένας τρόπος να έχετε μια πολύ κομψή απλοποίηση των πραγμάτων που μπορείτε να έχετε μια ενιαία εξίσωση όπως οι εξισώσεις πεδίου του Αϊνστάιν που περιγράφει τόσα πολλά, και αυτή είναι μια πολύ απλή εξίσωση σε μια πολύ σύνθετη γλώσσα. Έχετε μιλήσει για το πώς αυτή η προσέγγιση Feynman, σχεδόν όπως η κοινωνιολογία της φυσικής, μπορεί να μην ισχύει εδώ στη βιολογία, σωστά;

Jakob Uszkoreit: Μπορεί να μην ισχύει, τουλάχιστον για δύο λόγους που μπορώ να δω σε αυτό το σημείο. Το νούμερο ένα είναι ότι εμπλέκονται πάρα πολλοί παίκτες. Και ενώ είναι αλήθεια ότι ίσως μπορούμε απλώς να τα αναγάγουμε όλα στην εξίσωση του Schrodinger και απλώς να τη λύσουμε, τυχαίνει να είναι, όχι μόνο δυσεπίλυτο υπολογιστικά, αλλά και θα έπρεπε να γνωρίζουμε για όλους αυτούς τους διαφορετικούς παίκτες, και προς το παρόν δεν το γνωρίζουμε . Δεν είναι καν κοντά. Αυτή είναι λοιπόν μια πτυχή.

Και μετά το δεύτερο είναι βασικά η υπολογιστική δυσκολία, όπου η μείωση, κατά μία έννοια, έχει φτάσει τόσο μακριά που, ενώ τα επαναφέρει όλα σε ένα μόνο πράγμα, δεν μας βοηθά επειδή οι υπολογιστικές προσεγγίσεις μας βασικά χρησιμοποιούν αυτά τα θεμελιώδη στοιχεία για να γίνουν προβλέψεις είναι πολύ αργά για να γίνουν αυτές οι προβλέψεις για συστήματα αρκετά μεγάλα ώστε να έχουν πραγματικά σημασία για τη ζωή.

Vijay Pande: Ναι. Επομένως, δεν είναι μια εξίσωση n-σώματος, αλλά εξακολουθεί να υπάρχει μια αίσθηση φορμαλισμού - ίσως είναι ένας φορμαλισμός περισσότερο βασισμένος σε δεδομένα ή περισσότερο Μπεϋζιανός φορμαλισμός. Πώς τροφοδοτείται αυτό σε αυτό που θα θέλατε να κάνετε; Πώς τροφοδοτείται αυτό στην εφαρμογή AI και άλλων τύπων νέων αλγορίθμων;

Jakob Uszkoreit: Νομίζω ότι υπάρχουν δύο διαφορετικές πτυχές. Στο τέλος της ημέρας, ένα από τα σημαντικότερα σημεία κατά τη γνώμη μου από αυτό που βλέπουμε αυτή τη στιγμή στο Generative AI είναι ότι δεν χρειάζεται πλέον να εκπαιδευόμαστε σε δεδομένα που δεν είναι μόνο απολύτως καθαρά, αλλά και ακριβώς από τον τομέα και από τα είδη των εργασιών που θα θέλατε να αντιμετωπίσετε αργότερα. Αλλά αντίθετα, μπορεί να είναι πραγματικά πιο ωφέλιμο ή ακόμα και ο μόνος τρόπος που έχουμε βρει μέχρι στιγμής για να προσπαθήσουμε πραγματικά να εκπαιδεύσουμε σε οτιδήποτε βρίσκετε ότι σχετίζεται ακόμη και εξ αποστάσεως. Και στη συνέχεια χρησιμοποιήστε τις πληροφορίες που συλλέγονται αποτελεσματικά από αυτά τα δεδομένα για να καταλήξετε στα λεγόμενα μοντέλα θεμελίωσης, τα οποία μπορείτε στη συνέχεια να προσαρμόσετε με ακρίβεια σε κάθε είδους συγκεκριμένες εργασίες χρησιμοποιώντας πολύ μικρότερες, πολύ πιο προσιτές ποσότητες καθαρότερων δεδομένων.

Νομίζω ότι υποτιμούμε ελαφρώς όσα πρέπει να γνωρίζουμε για τα φαινόμενα γενικότερα. Για να δημιουργήσετε ένα πολύ καλό μοντέλο γλώσσας, πρέπει να καταλάβετε ότι υπάρχει αυτό το πράγμα που ονομάζεται διαδίκτυο και έχει πολύ κείμενο μέσα. Πρέπει να καταλάβετε αρκετά, στην πραγματικότητα, πώς μπορείτε να βρείτε αυτό το κείμενο, τι δεν είναι κείμενο, και ούτω καθεξής, για να αποστάξετε βασικά από αυτό τα δεδομένα εκπαίδευσης που χρησιμοποιείτε στη συνέχεια.

Πιστεύω ότι θα υπάρξουν πολύ άμεσα ανάλογες προκλήσεις γύρω από τη βιολογία. Το μεγάλο ερώτημα είναι: ποια είναι τα πειράματα που μπορούμε να κλιμακώσουμε έτσι ώστε να μπορούμε να παρατηρούμε τη ζωή σε επαρκή κλίμακα με σχεδόν αρκετή πιστότητα —αλλά πολύ λιγότερη ιδιαιτερότητα, ενώ έχουμε κατά νου τα προβλήματα που προσπαθείτε να λύσετε τελικά—έτσι ώστε να μπορούμε βασικά παίρνουμε από αυτό τα δεδομένα που χρειαζόμαστε για να ξεκινήσουμε την κατασκευή αυτών των μοντέλων θεμελίων, τα οποία μπορούμε στη συνέχεια να χρησιμοποιήσουμε, βελτιωμένα και ειδικά σχεδιασμένα, για να προσεγγίσουμε πραγματικά τα προβλήματα που θέλουμε να αντιμετωπίσουμε.

Το τμήμα δημιουργίας δεδομένων είναι σίγουρα ένα από αυτά. Οι αρχιτεκτονικές και η αποτελεσματική ύπαρξη μοντέλων και αρχιτεκτονικών δικτύων που μιμούνται αυτό που ξέρουμε, ας πούμε, για τη φυσική από κάτω, θα εξακολουθήσουν να παραμένουν ένας απίστευτα ισχυρός τρόπος εξοικονόμησης υπολογιστών και επίσης μείωσης της τεράστιας όρεξης για δεδομένα που θα πρέπει να έχουν αυτά τα μοντέλα. , σε εφικτό επίπεδο. Και έτσι, ένα πράγμα που πιστεύω ότι είναι πραγματικά ενδιαφέρον να σημειωθεί είναι ότι πολλές από τις τρέχουσες εφαρμογές μοντέλων, ας πούμε μετασχηματιστές, που έχουν [βρεθεί] να κλιμακώνονται αρκετά καλά σε άλλους τρόπους, άλλους τομείς, γλώσσα, όραση, δημιουργία εικόνων, κ.λπ., κ.λπ., και η εφαρμογή τους στη βιολογία βασικά αγνοεί το γεγονός ότι γνωρίζουμε ότι υπάρχει κάτι όπως ο χρόνος και ότι οι νόμοι της φυσικής, τουλάχιστον από όσο γνωρίζουμε, δεν φαίνεται να αλλάζουν απλώς στο περασμα του χρονου.

Η διαδικασία μιας αναδίπλωσης πρωτεΐνης, αγνοώντας το γεγονός ότι υπάρχουν τόνοι και τόνοι παικτών - συνοδούς και οτιδήποτε άλλο - είναι στην πραγματικότητα, κατά μια έννοια, ένα αρκετά αυθαίρετα διαχωρισμένο πρόβλημα από την υπόλοιπη πρωτεϊνική κινητική. Είναι εξίσου μεγάλη κινητική με το υπόλοιπο της κινητικής, ή το υπόλοιπο της ζωής αυτής της πρωτεΐνης, αυτού του μορίου. Και γιατί λοιπόν προσπαθούμε να εκπαιδεύσουμε μοντέλα ειδικά για το ένα και, ενδεχομένως τουλάχιστον, να αγνοούμε δεδομένα που μπορεί να έχουμε για το άλλο; Σε αυτήν την περίπτωση, ίσως πιο συγκεκριμένα, είναι μερικά από τα μοντέλα πρόβλεψης πρωτεϊνικής δομής που έχουμε σήμερα, μαθαίνουν ήδη κάτι για την κινητική σιωπηρά λόγω του γεγονότος ότι αρχίζουν σιγά σιγά να αγκαλιάζουν, ξέρετε, την ύπαρξη του χρόνου;

Ανάπτυξη νέων αρχιτεκτονικών

Vijay Pande: Ένα από τα ενδιαφέροντα πράγματα που σκέφτομαι για το πού βρίσκεστε αυτή τη στιγμή είναι ότι, με μερικές σπάνιες εξαιρέσεις, τα περισσότερα από τα βαθιά νευρωνικά δίκτυα ή άλλοι τύποι τεχνητής νοημοσύνης στη βιολογία αισθάνονται σαν να μεταφέρουν κάτι που εφευρέθηκε κάπου αλλού και να το μεταφέρουν. Όπως θα χρησιμοποιήσουμε συνελικτικά νευρωνικά δίκτυα για εικόνες. Ίσως για μικρά μόρια…στο εργαστήριό μου στο Στάνφορντ, χρησιμοποιούσαμε νευρωνικά δίκτυα γραφημάτων και αρκετά συνελικτικά νευρωνικά δίκτυα. Αλλά το να αναπτυχθεί πραγματικά ένας αλγόριθμος για το βιολογικό πρόβλημα είναι πολύ σπάνιο. Και πάντα πίστευα ότι ήταν επειδή είναι απλώς δύσκολο να έχεις τις δεξιότητες μιας ομάδας ισχυρές στον τομέα της βιολογίας και στον τομέα της επιστήμης των υπολογιστών. Αλλά είμαι περίεργος να πάρω τη γνώμη σου. Ή είναι απλώς σπάνιο να αναπτυχθούν νέες αρχιτεκτονικές εξαρχής;

Jakob Uszkoreit: Λοιπόν, νομίζω, στο τέλος της ημέρας, αυτό που βλέπουμε είναι ότι οι νέες αρχιτεκτονικές, αν και υποκινούνται από συγκεκριμένα προβλήματα, αν κάνουν πραγματικά τη διαφορά, τότε τείνουν να είναι εφαρμόσιμες και αλλού. Αυτό, από την άλλη, δεν σημαίνει ότι, στο δρόμο προς τα εκεί, η προσεκτική επιλογή των εφαρμογών και των τομέων που παρακινούν δεν θα έκανε τεράστια διαφορά. Και νομίζω ότι σίγουρα το κάνει.

Αισθάνομαι ότι μία από τις βασικές προκλήσεις εδώ είναι πραγματικά ότι δεν βρισκόμαστε ακόμη σε ένα καθεστώς στη βιολογία όπου έχουμε πλήθος δεδομένων, παρόλο που, σε σύγκριση με αυτό που είχαμε πριν από λίγο καιρό, είναι εκπληκτικό. Αλλά δεν βρισκόμαστε ακόμη σε αυτό το καθεστώς, όπου αυτό είναι απλώς το αντίστοιχο του ιστού, και μπορούμε να το φιλτράρουμε λίγο, να το κατεβάσουμε και να τελειώσουμε με αυτό. Αλλά αντ 'αυτού, νομίζω ότι πρέπει να το δημιουργήσουμε σε αρκετά μεγάλο βαθμό. Και αυτό δεν θα γίνει από ειδικούς βαθιάς μάθησης, τουλάχιστον όχι από τους περισσότερους από αυτούς.

Και πιστεύω ότι αυτό πρέπει να συμβεί με το ίδιο βήμα με την κατανόηση των ιδιαιτεροτήτων των εν λόγω δεδομένων, σωστά; Τα είδη του θορύβου που συναντάτε εκεί. Το γεγονός ότι στην πραγματικότητα δημιουργούνται σε πισίνες πολύ μεγάλης κλίμακας, πειράματα υψηλής απόδοσης, αλλά και πάλι, πειράματα που εκτελούνται σε διαφορετικές ημέρες από διαφορετικούς πειραματιστές και ούτω καθεξής και ούτω καθεξής. Και όπου οι άνθρωποι με περισσότερο βαθύ μαθησιακό υπόβαθρο συνεργάζονται αρκετά στενά με άτομα με υπόβαθρο βιολογίας, μαθαίνουν αρκετά για όσα γνωρίζουμε για τα υποκείμενα φαινόμενα, [θα] βασικά εμπνευστούν για να δοκιμάσουν ενδιαφέρουσες νέες προσεγγίσεις.

Vijay Pande: Λοιπόν, μου άρεσε όταν μιλούσατε μόνο για το παράδειγμα του Attention is All You Need χαρτί, για το πώς θέλατε να αποκτήσετε αυτήν την ποικιλόμορφη ομάδα ανθρώπων των οποίων τα πάθη ήταν, ξέρετε, αρκετά ορθογώνια μεταξύ τους. Και κατά μία έννοια, όταν το κάνετε αυτό στη βιολογία και ειδικά για αυτό που κάνετε στο Inceptive, πρέπει επίσης να βάλετε όλη αυτή τη δουλειά στη δημιουργία των δεδομένων. Και η παραγωγή των δεδομένων σημαίνει πραγματικά, για να είμαι πολύ σαφής, τη διεξαγωγή βιολογικών πειραμάτων σε κλίμακα. Το ίδιο το τμήμα εισόδου είναι πολύ ακριβό και πολύ τεχνικό, και όπως είπατε, έχει πολλούς τρόπους να πάει στραβά. Αλλά ακούγεται σαν να χτίζετε πάνω στην κουλτούρα που έχετε κάνει στο παρελθόν και τώρα είναι απλώς περισσότεροι ειδικοί με διαφορετικά πάθη που συντονίζονται με ανάλογο τρόπο.

Jakob Uszkoreit: Χρειάζομαι πραγματικά, [και] οι άνθρωποι το χρειάζονται αυτό. Αυτή είναι, όσο μπορώ να πω, η πιο πολλά υποσχόμενη λεωφόρος. [Πρόκειται να] να μην στοχεύσουμε, κατά μία έννοια, σε ένα μοντέλο αγωγού, όπου ορισμένα δεδομένα στο εργαστήριο στο οποίο δημιουργήθηκαν, δεδομένων των καλύτερων γνώσεών μας, σχετικά με τις υποκείμενες πτυχές της ζωής. Και στη συνέχεια να αρχίσετε να εκτελείτε υπάρχουσες προσεγγίσεις βαθιάς μάθησης σε αυτό και στη συνέχεια να τις τροποποιήσετε. Αλλά αντί να έχουμε πραγματικά ανθρώπους που, κατά μια ορισμένη έννοια, μπορεί να είναι από τους πρώτους ανθρώπους που εργάζονται πραγματικά σε έναν κλάδο που επί του παρόντος δεν έχει ακόμη σπουδαίο όνομα.

Ίσως ο λιγότερο κοινός παρονομαστής είναι η περιέργεια που εκτείνεται πέρα από αυτά που γνωρίζετε, αυτά που έχετε μάθει πριν και αυτά που ίσως ξοδέψατε τον περισσότερο χρόνο σας κάνοντας. Διαπιστώνουμε ότι όπως και σε πολλούς άλλους τομείς, αυτό που πραγματικά αναζητούμε είναι ένα σύνολο ανθρώπων με πολύ διαφορετικά υπόβαθρα, αλλά που μοιράζονται την περιέργεια.

Πού πηγαίνει η τεχνητή νοημοσύνη;

Vijay Pande: Πού πιστεύετε ότι βρίσκεται η τεχνητή νοημοσύνη αυτή τη στιγμή για αυτά τα πιο δύσκολα προβλήματα, για το σχεδιασμό φαρμάκων, την υγειονομική περίθαλψη και ούτω καθεξής; Τι πρέπει να γίνει; Πότε θα φτάσει εκεί;

Jakob Uszkoreit: Θα περίμενα—και είναι πάντα πολύ επικίνδυνο να κάνουμε προβλέψεις για το μέλλον—θα με εξέπληξε πολύ αν μέσα στα επόμενα τρία χρόνια δεν αρχίζαμε να βλέπουμε ένα σημείο [κλίσης] να συμβαίνει όταν πρόκειται για τις επιπτώσεις του πραγματικού κόσμου μηχανική μάθηση, βαθιά μάθηση μεγάλης κλίμακας στην ανάπτυξη φαρμάκων, σχεδιασμός φαρμάκων. Πού ακριβώς θα είναι πρώτα, φυσικά, πιστεύω ότι πολλά από αυτά θα συμβούν γύρω από το RNA, τα θεραπευτικά RNA και τα εμβόλια. Αυτή σίγουρα δεν θα είναι η μόνη περιοχή που επηρεάζεται από αυτό, αλλά σίγουρα πιστεύω ότι κατευθυνόμαστε στην περιοχή του σημείου καμπής.

Vijay Pande: Έκανες ένα ενδιαφέρον σημείο. Τι διαφορετικό έχει το RNA; Επειδή νομίζω ότι είναι ιδιαίτερα ενδιαφέρον, όχι μόνο ότι πήγατε από το Google Brain στη βιολογία, αλλά πήγατε ειδικά στο RNA. Τι σας ελκύει στο RNA, ειδικά ίσως από άποψη AI ή ML;

Jakob Uszkoreit: Ένα πράγμα που είναι ενδιαφέρον για το RNA είναι ο συνδυασμός μεταξύ, όπως είδαμε, πολύ ευρείας εφαρμογής -αν και εξακολουθεί να είναι περιορισμένος με την έννοια μιας ενιαίας ένδειξης- αλλά κοιτάζοντας αυτό το κύμα διαδικασιών έγκρισης που ξεκινά και έχει ξεκινήσει, είναι όμορφο είναι σαφές ότι η δυνατότητα εφαρμογής είναι πολύ, πολύ ευρεία, σε συνδυασμό με —αυτό είναι λίγο διφορούμενο— ένα δομικά απλό πρόβλημα. Και είναι δομικά απλό όχι στην πρόταση ότι η δομική πρόβλεψη RNA είναι απλή, αλλά είναι δομικά απλή με την έννοια ότι είναι ένα βιοπολυμερές με τέσσερις διαφορετικές βάσεις. Δεν μιλάμε για πάνω από 20 αμινοξέα. Είναι κάτι που μπορεί να παραχθεί αρκετά αποτελεσματικά.

Υπάρχουν κάποιες προκλήσεις εκεί, αλλά η σύνθεση είναι κάτι που μπορεί να κλιμακωθεί και κλιμακώνεται γρήγορα, και αυτά τα πράγματα συνδυάζονται πραγματικά για να ενεργοποιήσουν αυτόν τον βρόχο ταχείας ανάδρασης που υποθέτω ότι συχνά αναφέρεται, αλλά πολύ σπάνια, τουλάχιστον από ό,τι ξέρω, εφαρμόζεται στην πραγματικότητα και υλοποιήσιμο στο τέλος της ημέρας.

Vijay Pande: Ναι, αναμφισβήτητα πιθανώς είναι ένας πιο γρήγορος βρόχος ανατροφοδότησης, ειδικά για τον τρόπο που ακολουθείτε.

Jakob Uszkoreit: Ναί. Και δεδομένου ότι πιστεύω ότι πρέπει να δημιουργήσουμε τη μερίδα του λέοντος των δεδομένων για την εκπαίδευση των μοντέλων που εκπαιδεύουμε, επενδύουμε πραγματικά στην Inceptive στη δημιουργία τέτοιων δεδομένων σε κλίμακα. Και θα έλεγα συγκριτικά αρκετά μεγάλης κλίμακας, δεδομένου ότι το RNA φαίνεται να είναι μακράν ο καλύτερος συνδυασμός όσον αφορά τη δομική απλότητα, αλλά και την επεκτασιμότητα της σύνθεσης και αυτού του πειραματισμού. Υπάρχουν τεράστιες δυνατότητες εδώ που μέχρι στιγμής έχουν εκμεταλλευτεί.

Vijay Pande: Ναι, και νομίζω ότι είναι ιδιαίτερα πιθανή η ικανότητα να έχουμε αυτούς τους γρήγορους κύκλους, τόσο προκλινικούς όσο και ως εκ τούτου να φτάσουμε στην κλινική πιο γρήγορα και να βρίσκομαι στην κλινική [για μικρότερο χρονικό διάστημα].

Jakob Uszkoreit: Απολύτως. Αυτό είναι πραγματικά αυτό που ελπίζουμε. Βλέπουμε επίσης ίσως πρώιμους υπαινιγμούς που υποδεικνύουν ότι αυτό μπορεί να συμβαίνει και ότι φυσικά είμαστε, πραγματικά, πολύ ενθουσιασμένοι.

Vijay Pande: Η σκέψη για τα τελευταία 10 χρόνια ήταν καταπληκτική, ξέρετε, από το 2012 έως τώρα. Πώς πιστεύετε ότι είναι τα επόμενα 10 χρόνια; Πού πιστεύετε ότι βρισκόμαστε σε 10 χρόνια από τώρα με την τεχνητή νοημοσύνη; Είτε γενικά είτε ειδικά για βιο;

Jakob Uszkoreit: Νομίζω ότι αν είναι αλήθεια ότι εισερχόμαστε σε αυτό το σημείο καμπής, όταν κοιτάξουμε πίσω σε 10 χρόνια από τώρα, θα φανεί σαν μια επανάσταση τουλάχιστον τόσο μεγάλη και τόσο εκτεταμένη όσο αυτή που πιστεύουμε ότι έχουμε δει στο τελευταία 10 χρόνια. Τουλάχιστον. Τώρα πιστεύω ότι θα υπάρξει μια κρίσιμη διαφορά, και αυτή είναι ότι δεν είναι τόσο σαφές πόσο ευρέως επηρεάζει τις ζωές όλων η επανάσταση που παρακολουθούμε τα τελευταία 10 χρόνια. Υπάρχουν ορισμένες περιοχές, μηχανές αναζήτησης ή υποβοηθούμενη γραφή κ.λπ., όπου είναι εμφανές, αλλά δεν είναι ξεκάθαρο πόσο ευρέως εφαρμόσιμη είναι αυτή η επανάσταση. Πιστεύω ότι είναι πολύ έτσι, αλλά δεν το βλέπουμε ακόμα. Νομίζω ότι η επανάσταση που θα δούμε συγκεκριμένα γύρω από το βιο τα επόμενα 10 χρόνια, ή που θα κοιτάξουμε πίσω σε 10 χρόνια από τώρα, θα διαφέρει πραγματικά ως προς τον βαθύ αντίκτυπό της στη ζωή όλων μας .

Ακόμη και αν αφήσουμε κατά μέρος τις εφαρμογές σχεδιασμού και ανακάλυψης φαρμάκων, υπάρχουν τέτοιες εκπληκτικές εφαρμογές μέσα και γύρω από την επιστημονική ανακάλυψη, όπου θα μπορούσατε τώρα να φανταστείτε ότι, με μια διεπαφή ιστού, μπορείτε βασικά να σχεδιάσετε μόρια που σε ορισμένους οργανισμούς έχουν πολύ μεγάλη πιθανότητα να απαντήστε σε ορισμένες ερωτήσεις, παράγοντας πιο αξιόπιστες ενδείξεις από ό,τι, ξέρετε, στο παρελθόν. Έτσι, ακόμα κι αν παραλείψουμε όλη την πολυπλοκότητα του τρόπου με τον οποίο αυτό θα επηρεάσει, τελικά, τους ασθενείς και όλους, είναι αρκετά σαφές, νομίζω, ότι αυτά τα εργαλεία απλώς θα επιταχύνουν γρήγορα πεδία όπως η βιολογία.

Vijay Pande: Αυτό φαίνεται σαν ένα υπέροχο μέρος για να το τελειώσεις. Ευχαριστώ πολύ, Jakob, που έγινες μέλος του Bio Eats World.

Jakob Uszkoreit: Σας ευχαριστώ πολύ που με έχετε.

Ολίβια Γουέμπ: Σας ευχαριστούμε που συμμετέχετε στο Bio Eats World. Το Bio Eats World φιλοξενείται και παράγεται από εμένα, την Olivia Webb, με τη βοήθεια της ομάδας Bio + Health στο a16z και την επιμέλεια του Phil Hegseth. Το Bio Eats World είναι μέρος του δικτύου podcast a16z.

Εάν έχετε ερωτήσεις σχετικά με το επεισόδιο ή θέλετε να προτείνετε θέματα για μελλοντικό επεισόδιο, στείλτε email [προστασία μέσω email] Τελευταίο αλλά εξίσου σημαντικό, εάν απολαμβάνετε το Bio Eats World, αφήστε μας μια αξιολόγηση και μια κριτική όπου κι αν ακούτε podcast.

Λάβετε υπόψη ότι το περιεχόμενο εδώ μόνο για ενημερωτικούς σκοπούς δεν πρέπει να λαμβάνεται ως νομική, επιχειρηματική, φορολογική ή επενδυτική συμβουλή ή να χρησιμοποιείται για την αξιολόγηση οποιασδήποτε επένδυσης ή ασφάλειας και δεν απευθύνεται σε επενδυτές ή δυνητικούς επενδυτές σε οποιοδήποτε αμοιβαίο κεφάλαιο a16z . Για περισσότερες λεπτομέρειες, ανατρέξτε στη διεύθυνση a16z.com/disclosures.

***

Οι απόψεις που εκφράζονται εδώ είναι αυτές του μεμονωμένου προσωπικού της AH Capital Management, LLC (“a16z”) που αναφέρεται και δεν είναι απόψεις της a16z ή των θυγατρικών της. Ορισμένες πληροφορίες που περιέχονται εδώ έχουν ληφθεί από τρίτες πηγές, συμπεριλαμβανομένων των εταιρειών χαρτοφυλακίου κεφαλαίων που διαχειρίζεται η a16z. Αν και λαμβάνεται από πηγές που πιστεύεται ότι είναι αξιόπιστες, το a16z δεν έχει επαληθεύσει ανεξάρτητα τέτοιες πληροφορίες και δεν κάνει δηλώσεις σχετικά με τη διαρκή ακρίβεια των πληροφοριών ή την καταλληλότητά τους για μια δεδομένη κατάσταση. Επιπλέον, αυτό το περιεχόμενο μπορεί να περιλαμβάνει διαφημίσεις τρίτων. Η a16z δεν έχει ελέγξει τέτοιες διαφημίσεις και δεν υποστηρίζει κανένα διαφημιστικό περιεχόμενο που περιέχεται σε αυτές.

Αυτό το περιεχόμενο παρέχεται μόνο για ενημερωτικούς σκοπούς και δεν θα πρέπει να βασίζεται ως νομική, επιχειρηματική, επενδυτική ή φορολογική συμβουλή. Θα πρέπει να συμβουλευτείτε τους δικούς σας συμβούλους για αυτά τα θέματα. Οι αναφορές σε οποιουσδήποτε τίτλους ή ψηφιακά περιουσιακά στοιχεία είναι μόνο για ενδεικτικούς σκοπούς και δεν αποτελούν επενδυτική σύσταση ή προσφορά για παροχή επενδυτικών συμβουλευτικών υπηρεσιών. Επιπλέον, αυτό το περιεχόμενο δεν απευθύνεται ούτε προορίζεται για χρήση από επενδυτές ή υποψήφιους επενδυτές και δεν μπορεί σε καμία περίπτωση να γίνει επίκληση του κατά τη λήψη απόφασης για επένδυση σε οποιοδήποτε αμοιβαίο κεφάλαιο που διαχειρίζεται η a16z. (Μια προσφορά για επένδυση σε ένα αμοιβαίο κεφάλαιο a16z θα γίνει μόνο από το μνημόνιο ιδιωτικής τοποθέτησης, τη συμφωνία εγγραφής και άλλη σχετική τεκμηρίωση οποιουδήποτε τέτοιου κεφαλαίου και θα πρέπει να διαβαστεί στο σύνολό τους.) Τυχόν επενδύσεις ή εταιρείες χαρτοφυλακίου που αναφέρονται, αναφέρονται ή που περιγράφονται δεν είναι αντιπροσωπευτικές όλων των επενδύσεων σε οχήματα που διαχειρίζεται η a16z και δεν μπορεί να υπάρξει διαβεβαίωση ότι οι επενδύσεις θα είναι κερδοφόρες ή ότι άλλες επενδύσεις που θα πραγματοποιηθούν στο μέλλον θα έχουν παρόμοια χαρακτηριστικά ή αποτελέσματα. Μια λίστα με επενδύσεις που πραγματοποιήθηκαν από αμοιβαία κεφάλαια που διαχειρίζεται ο Andreessen Horowitz (εξαιρουμένων των επενδύσεων για τις οποίες ο εκδότης δεν έχει παράσχει άδεια για δημοσιοποίηση της a16z καθώς και των απροειδοποίητων επενδύσεων σε δημόσια διαπραγματεύσιμα ψηφιακά περιουσιακά στοιχεία) είναι διαθέσιμη στη διεύθυνση https://a16z.com/investments /.

Τα γραφήματα και τα γραφήματα που παρέχονται εντός προορίζονται αποκλειστικά για ενημερωτικούς σκοπούς και δεν θα πρέπει να βασίζονται σε αυτά όταν λαμβάνεται οποιαδήποτε επενδυτική απόφαση. Οι προηγούμενες αποδόσεις δεν είναι ενδεικτικές των μελλοντικών αποτελεσμάτων. Το περιεχόμενο μιλά μόνο από την ημερομηνία που υποδεικνύεται. Οποιεσδήποτε προβλέψεις, εκτιμήσεις, προβλέψεις, στόχοι, προοπτικές και/ή απόψεις που εκφράζονται σε αυτό το υλικό υπόκεινται σε αλλαγές χωρίς προειδοποίηση και μπορεί να διαφέρουν ή να είναι αντίθετες με τις απόψεις που εκφράζονται από άλλους. Ανατρέξτε στη διεύθυνση https://a16z.com/disclosures για πρόσθετες σημαντικές πληροφορίες.