Ενώ το OpenAI ηγείται του δρόμου για την παραγωγική ανάπτυξη AI, πολλοί έχουν κατηγορήσει την Google ότι υστερεί. Ωστόσο, για να μην μακρηγορούμε, η Google παρουσίασε ένα νέο μοντέλο μεγάλης γλώσσας, το PaLM 2, στο συνέδριο Google I/O του 2023.
Το νέο LLM της Google, που θα κυκλοφορήσει σε τέσσερα διαφορετικά μεγέθη για μια σειρά εφαρμογών, προφανώς ήδη τροφοδοτεί αρκετές υπηρεσίες της Google, με πολύ περισσότερες να ακολουθήσουν.
Τι είναι το PalM 2;
Στο Google I/O 2023, που πραγματοποιήθηκε στις 10 Μαΐου, η διευθύνουσα σύμβουλος της Google, Σούντα Πιχάι, αποκάλυψε το πιο πρόσφατο παιχνίδι της Google: PalM 2.
Συντομογραφία του Pathways Language Model 2, το αναβαθμισμένο LLM της Google είναι η δεύτερη επανάληψη του PaLM, με την πρώτη έκδοση να κυκλοφορεί τον Απρίλιο του 2022. Δεν θυμάστε το PalM; Λοιπόν, εκείνη την εποχή, ήταν μεγάλη είδηση και έλαβε σωρεία ενδιαφέροντος για την ικανότητά του να συνομιλεί λίγο, να λέει βασικά αστεία και ούτω καθεξής. Fast forward έξι μήνες, και Το GPT-3.5 του OpenAI έσκασε τα πάντα από το νερό, συμπεριλαμβανομένου του PalM.
Από τότε, Το OpenAI κυκλοφόρησε το GPT-4, μια τεράστια αναβάθμιση στο GPT-3.5. Ωστόσο, ενώ το νεότερο μοντέλο ενσωματώνεται σε πολλά εργαλεία, κυρίως στο Bing AI Chat της Microsoft, η Google στοχεύει στο OpenAI και στο GPT-4 με το PaLM 2 και θα ελπίζει ότι το αναβαθμισμένο LLM του μπορεί να κλείσει αυτό που φαινόταν να είναι ένα σημαντικό κενό - η κυκλοφορία του Google Bard δεν ήταν σχεδόν θορυβώδης επιτυχία.
Ο Pichai ανακοίνωσε ότι το PaLM 2 θα κυκλοφορήσει σε τέσσερα διαφορετικά μεγέθη μοντέλων: Gecko, Otter, Bison και Unicorn.
Το Gecko είναι τόσο ελαφρύ που μπορεί να λειτουργήσει σε κινητές συσκευές και είναι αρκετά γρήγορο για εξαιρετικές διαδραστικές εφαρμογές στη συσκευή, ακόμα και όταν είναι εκτός σύνδεσης. Αυτή η ευελιξία σημαίνει ότι το PaLM 2 μπορεί να ρυθμιστεί με ακρίβεια για να υποστηρίζει ολόκληρες κατηγορίες προϊόντων με περισσότερους τρόπους, για να βοηθήσει περισσότερους ανθρώπους.
Με το Gecko να μπορεί να επεξεργάζεται περίπου 20 διακριτικά ανά δευτερόλεπτο—τα κουπόνια είναι οι τιμές που αποδίδονται σε πραγματικές λέξεις για χρήση από μοντέλα τεχνητής νοημοσύνης που δημιουργούνται—φαίνεται πιθανό να αλλάξει το παιχνίδι για εργαλεία τεχνητής νοημοσύνης που μπορούν να αναπτυχθούν από κινητά.
Δεδομένα εκπαίδευσης PalM 2
Η Google δεν ήταν ακριβώς διαθέσιμη με τα δεδομένα εκπαίδευσης του PaLM 2, κατανοητό δεδομένου ότι μόλις κυκλοφόρησε. Αλλά της Google Αναφορά PalM 2 Το [PDF] είπε ότι ήθελε το PaLM 2 να έχει βαθύτερη κατανόηση των μαθηματικών, της λογικής και της επιστήμης και ότι ένα μεγάλο μέρος του εκπαιδευτικού υλικού του επικεντρώθηκε σε αυτά τα θέματα.
Ωστόσο, αξίζει να σημειωθεί ότι το PaLM δεν ήταν αδύνατο. Οταν Google αποκάλυψε η PaLM, επιβεβαίωσε ότι είχε εκπαιδευτεί σε 540 δισεκατομμύρια παραμέτρους, κάτι που εκείνη την εποχή ήταν κολοσσιαίο νούμερο.
Το GPT-4 του OpenAI φέρεται να χρησιμοποιεί πάνω από ένα τρισεκατομμύριο παραμέτρους, με ορισμένες εικασίες να ανεβάζουν τον αριθμό αυτό έως και 1,7 τρισεκατομμύρια. Είναι ένα ασφαλές στοίχημα ότι καθώς η Google θέλει το PaLM 2 να ανταγωνίζεται άμεσα τα LLM του OpenAI, θα έχει, τουλάχιστον, συγκρίσιμο αριθμό, αν όχι περισσότερο.
Μια άλλη σημαντική ώθηση στο PaLM 2 είναι τα δεδομένα γλωσσικής εκπαίδευσης. Η Google έχει εκπαιδεύσει το PaLM 2 σε περισσότερες από 100 γλώσσες για να του δώσει μεγαλύτερο βάθος και κατανόηση από τα συμφραζόμενα και να αυξήσει τις μεταφραστικές του δυνατότητες.
Αλλά δεν είναι μόνο οι ομιλούμενες γλώσσες. Συνδέοντας με την απαίτηση της Google για το PaLM 2 να παρέχει καλύτερη επιστημονική και μαθηματική συλλογιστική, το LLM έχει έχει επίσης εκπαιδευτεί σε περισσότερες από 20 γλώσσες προγραμματισμού, γεγονός που το καθιστά εκπληκτικό πλεονέκτημα για προγραμματιστές.
Το PaLM 2 τροφοδοτεί ήδη τις Υπηρεσίες Google—Αλλά εξακολουθεί να απαιτεί λεπτή ρύθμιση
Δεν θα αργήσουμε μέχρι να πάρουμε στα χέρια μας το PaLM 2 και να δούμε τι μπορεί να κάνει. Με κάθε τύχη, η κυκλοφορία οποιωνδήποτε εφαρμογών και υπηρεσιών PaLM 2 θα είναι καλύτερη από την Bard.
Αλλά μπορεί να έχετε χρησιμοποιήσει ήδη (τεχνικά!) το PaLM 2. Η Google επιβεβαίωσε ότι το PaLM 2 έχει ήδη αναπτυχθεί και χρησιμοποιείται σε 25 από τα προϊόντα της, συμπεριλαμβανομένων των Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets και άλλων.
Αλλά η έκθεση PalM 2 αποκαλύπτει επίσης ότι υπάρχει ακόμη δουλειά που πρέπει να γίνει, ειδικά για τις τοξικές αντιδράσεις σε μια σειρά γλωσσών.
Για παράδειγμα, όταν δίνονται συγκεκριμένα τοξικά μηνύματα, το PaLM 2 δημιουργεί τοξικές αποκρίσεις περισσότερο από το 30 τοις εκατό του χρόνου. Επιπλέον, σε συγκεκριμένες γλώσσες—Αγγλικά, Γερμανικά και Πορτογαλικά—το PaLM 2 έδωσε περισσότερες τοξικές απαντήσεις από το 17 τοις εκατό των περιπτώσεων, με προτροπές που περιλαμβάνουν φυλετικές ταυτότητες και θρησκείες να ωθούν αυτό το νούμερο πιο ψηλά.
Ανεξάρτητα από το πόσο οι ερευνητές προσπαθούν να καθαρίσουν τα δεδομένα εκπαίδευσης LLM, είναι αναπόφευκτο ότι κάποιοι θα ξεφύγουν. Η επόμενη φάση είναι να συνεχιστεί η εκπαίδευση του PaLM 2 για τη μείωση αυτών των τοξικών αποκρίσεων.
Είναι μια περίοδος άνθησης για μεγάλα γλωσσικά μοντέλα
Το OpenAI δεν ήταν το πρώτο που κυκλοφόρησε ένα μοντέλο μεγάλης γλώσσας, αλλά τα μοντέλα GPT-3, GPT-3.5 και GPT-4 αναμφίβολα φώτισαν το μπλε χαρτί αφής στη γενετική τεχνητή νοημοσύνη.
Το PaLM 2 της Google έχει κάποια προβλήματα που πρέπει να επιλύσει, αλλά το ότι χρησιμοποιείται ήδη σε πολλές υπηρεσίες της Google δείχνει την εμπιστοσύνη που έχει η εταιρεία στο τελευταίο της LLM.
