Πώς να εκτελέσετε ένα μοντέλο μεγάλης γλώσσας σε Linux (και γιατί πρέπει)

Τα μεγάλα γλωσσικά μοντέλα έχουν τη δυνατότητα να φέρουν επανάσταση στον τρόπο ζωής και εργασίας σας και μπορούν να διεξάγουν συνομιλίες και να απαντούν σε ερωτήσεις με ποικίλο βαθμό ακρίβειας.

Για να χρησιμοποιήσετε ένα, θα χρειαστείτε συνήθως έναν λογαριασμό με έναν πάροχο LLM και να συνδεθείτε μέσω ιστότοπου ή ειδικής εφαρμογής. Αλλά ξέρατε ότι μπορείτε να εκτελέσετε το δικό σας μοντέλο μεγάλης γλώσσας εντελώς εκτός σύνδεσης σε Linux;

Γιατί να εκτελέσετε ένα μοντέλο μεγάλης γλώσσας στο Linux;

Τα μεγάλα γλωσσικά μοντέλα (LLM) είναι παντού αυτές τις μέρες και μπορούν να επεξεργαστούν τη φυσική γλώσσα και να δώσουν τις κατάλληλες απαντήσεις που μπορεί να σας ξεγελάσουν και να πιστεύετε ότι ένας άνθρωπος έχει απαντήσει. Η Microsoft κυκλοφορεί μια νέα έκδοση του Bing με τεχνητή νοημοσύνη, ενώ του Alphabet Το Bard είναι πλέον αναπόσπαστο μέρος των αναζητήσεων Google.

Μακριά από τις μηχανές αναζήτησης, μπορείτε να χρησιμοποιήσετε τα λεγόμενα "AI chatbots" για να απαντήσετε σε ερωτήσεις, να συνθέσετε ποίηση ή ακόμα και να κάνετε την εργασία σας για εσάς.

Αλλά με την πρόσβαση σε LLM στο διαδίκτυο, εξαρτάστε από την καλή θέληση ενός τρίτου παρόχου — η οποία μπορεί να αποσυρθεί ανά πάσα στιγμή.

Υπόκειστε επίσης σε περιορισμούς χρήσης. Ζητήστε από το OpenAI να γράψει μια ερωτική νουβέλα 6.000 λέξεων που διαδραματίζεται στη ναζιστική Γερμανία, για παράδειγμα, και θα λάβετε μια απάντηση όπως "Ζητώ συγγνώμη, αλλά δεν θα μπορέσω να δημιουργήσω αυτήν την ιστορία για εσάς".

Οτιδήποτε εισάγετε σε διαδικτυακά LLMs χρησιμοποιείται για την περαιτέρω εκπαίδευσή τους και τα δεδομένα που μπορεί να θέλετε να παραμείνουν εμπιστευτικά ενδέχεται να διασπαστούν στο μέλλον ως μέρος μιας απάντησης σε ερώτηση κάποιου άλλου.

Επίσης, υπόκεινται σε έλλειψη υπηρεσίας, καθώς το σύστημα έχει πλημμυρίσει από χρήστες και ζητείται να εγγραφείτε, ώστε να έχετε πρόσβαση στην πλατφόρμα όταν η ζήτηση είναι υψηλή.

Το Dalai είναι μια δωρεάν εφαρμογή ανοιχτού κώδικα του Meta's LLaMa LLM και του Stanford's Alpaca. Θα λειτουργεί άνετα σε μέτριο υλικό και παρέχει μια εύχρηστη διεπαφή ιστού και μια σειρά προτύπων προτροπής—έτσι μπορείτε να ρωτήσετε οτιδήποτε θέλετε, χωρίς φόβο ότι ένας διαχειριστής πρόκειται να κλείσει τον λογαριασμό σας, το LLM θα αρνηθεί να απαντήσει ή η σύνδεσή σας θα πτώση.

Όταν εγκαθιστάτε ένα LLM τοπικά σε Linux, είναι δικό σας και μπορείτε να το χρησιμοποιήσετε όπως θέλετε.

Πώς να εγκαταστήσετε το Dalai σε Linux

Ο ευκολότερος τρόπος εγκατάστασης του Dalai σε Linux είναι να χρησιμοποιήσετε το Docker και το Docker Compose. Αν δεν τα έχετε ήδη, συμβουλευτείτε τον οδηγό μας για το πώς να το κάνετε εγκαταστήστε το Docker και το Docker Compose.

Με αυτό το πρόβλημα, είστε έτοιμοι να ξεκινήσετε την εγκατάσταση του Dalai. Κλωνοποιήστε το αποθετήριο Dalai GitHub και χρησιμοποιήστε την εντολή cd για να μετακινηθείτε σε αυτό:

git κλώνος https://github.com/cocktailpeanut/dalai.git && cd dalai

Για να θέσετε σε λειτουργία το Dalai με μια διεπαφή ιστού, πρώτα δημιουργήστε το αρχείο Docker Compose:

docker-compose build

Το Docker Compose θα πραγματοποιήσει λήψη και εγκατάσταση της Python 3.11, του Node Version Manager (NVM) και του Node.js.

Στο στάδιο επτά από τα εννέα, η έκδοση θα φαίνεται να παγώνει καθώς το Docker Compose κατεβάζει το Dalai. Μην ανησυχείτε: ελέγξτε το εύρος ζώνης που χρησιμοποιείτε για να βεβαιωθείτε ότι κάτι συμβαίνει και προσομοιώστε την εξέλιξη των εικονικών οργανισμών στο τερματικό σας όσο περιμένετε.

Τελικά, θα επιστρέψετε στη γραμμή εντολών.

Τα μοντέλα Dalai και LLaMa/Alpaca απαιτούν πολλή μνήμη για να τρέξουν. Αν και δεν υπάρχει καμία επίσημη προδιαγραφή, ένας καλός γενικός οδηγός είναι 4 GB για το μοντέλο 7Β, 8 GB για το μοντέλο 13Β, 16 GB για το μοντέλο 30Β και 32 GB για το μοντέλο 65Β.

Τα μοντέλα Alpaca είναι σχετικά μικρά, με το μοντέλο 13B να φτάνει τα 7,6 GB, αλλά τα βάρη LLaMA μπορεί να είναι τεράστια: η ισοδύναμη λήψη 13 B έρχεται στα 60,21 GB και το μοντέλο 65 B θα καταλαμβάνει ένα επικό μισό terabyte στον σκληρό σας δίσκο δίσκος.

Αποφασίστε ποιο μοντέλο είναι πιο κατάλληλο για τους πόρους σας και χρησιμοποιήστε την ακόλουθη εντολή για να το εγκαταστήσετε:

docker-compose εκτέλεση dalai npx dalai alpaca εγκατάσταση 13Β

Ή:

docker-compose εκτέλεση dalai npx dalai llama εγκατάσταση 13Β

Υπάρχει πιθανότητα τα μοντέλα που λήφθηκαν μέσω του Dalai να είναι κατεστραμμένα. Αν συμβαίνει αυτό, αρπάξτε τα από Αγκαλιασμένο πρόσωπο αντι αυτου.

Αφού επιστρέψετε στη γραμμή εντολών, εμφανίστε το Docker Compose σε λειτουργία αποσύνδεσης:

docker-συνθέτω επάνω -δ

Ελέγξτε εάν το δοχείο λειτουργεί σωστά με:

docker-συνθέτω ps

Εάν όλα λειτουργούν όπως θα έπρεπε, ανοίξτε ένα πρόγραμμα περιήγησης και μπείτε localhost: 3000 στη γραμμή διευθύνσεων.

Διασκεδάστε με το δικό σας μοντέλο μεγάλης γλώσσας στο Linux

Όταν ανοίξει η διεπαφή ιστού, θα δείτε ένα πλαίσιο κειμένου, στο οποίο μπορείτε να γράψετε τις προτροπές σας.

Η σύνταξη αποτελεσματικών προτροπών είναι δύσκολη και οι προγραμματιστές του Dalai παρείχαν βοηθητικά μια σειρά προτύπων που θα σας βοηθήσουν να λάβετε μια χρήσιμη απάντηση από τον Dalai.

Αυτά είναι AI-Dialog, Chatbot, Προκαθορισμένο, Εντολή, Ξαναγράφω, Μεταφράζω, και Tweet-συναίσθημα.

Όπως θα περίμενες, το AI-Dialog και Chatbot Τα πρότυπα είναι δομημένα με τρόπο που σας επιτρέπει να κάνετε μια συζήτηση με το LLM. Η κύρια διαφορά μεταξύ των δύο είναι ότι το chatbot υποτίθεται ότι είναι «υψηλά ευφυές», ενώ το AI-Dialog είναι «χρήσιμο, ευγενικό, υπάκουο, ειλικρινές και γνωρίζει τα όριά του».

Φυσικά, αυτό είναι το "AI" σας και αν σας αρέσει, μπορείτε να αλλάξετε την προτροπή ώστε το chatbot να είναι ανόητο και τα χαρακτηριστικά του διαλόγου AI να είναι "σαδιστικά" και "μη βοηθητικά". Από σένα εξαρτάται.

Δοκιμάσαμε το Μεταφράζω λειτουργούν αντιγράφοντας την αρχική παράγραφο μιας είδησης του BBC και ζητώντας από τον Dalai να τη μεταφράσει στα ισπανικά. Η μετάφραση ήταν καλή και όταν τη περάσαμε μέσω της Μετάφρασης Google για να τη γυρίσουμε στα αγγλικά, διαπιστώσαμε ότι ήταν αρκετά ευανάγνωστη και απηχούσε τα γεγονότα και το συναίσθημα του αρχικού κομματιού.

Ομοίως, το Ξαναγράφω Το πρότυπο περιέλιξε το κείμενο πειστικά στο άνοιγμα ενός νέου άρθρου.

ο Προκαθορισμένο και Εντολή Τα μηνύματα προτροπής είναι δομημένα για να σας βοηθήσουν να κάνετε ερωτήσεις ή να καθοδηγήσετε απευθείας τον Dalai.

Η ακρίβεια του Dalai στην απόκριση θα ποικίλλει σημαντικά ανάλογα με το μοντέλο που χρησιμοποιείτε. Ένα μοντέλο 30Β θα είναι πολύ πιο χρήσιμο από ένα μοντέλο 7Β. Αλλά ακόμα και τότε, σας υπενθυμίζεται ότι τα LLM είναι απλά εξελιγμένα συστήματα για να μαντέψετε την επόμενη λέξη σε μια πρόταση.

Ούτε τα μοντέλα 7B ούτε 13B Alpaca μπόρεσαν να δώσουν μια ακριβή περίληψη 200 λέξεων του διηγήματος, "Cat in the Rain» του Έρνεστ Χέμινγουεϊ, και οι δύο δημιούργησαν απόλυτα πειστικές γραμμές πλοκής και λεπτομέρειες σχετικά με την ιστορία περιέχονται.

Και ενώ το "εξυπηρετικό, ευγενικό, υπάκουο, ειλικρινές" AI-Dialog που "γνωρίζει τα όριά του" και το "υψηλά ευφυές" Chatbot θα αποθαρρύνει αμφιλεγόμενες προτροπές, μπορείτε να δώσετε στον Dalai μια ευθεία εντολή εντολής ή προεπιλογή και θα γράψει ό, τι θέλετε — όπως θέλετε το.

Ένα μεγάλο μοντέλο γλώσσας στον υπολογιστή σας Linux είναι δικό σας

Με την εκτέλεση ενός μοντέλου μεγάλης γλώσσας στο δικό σας κουτί Linux, δεν υπόκεινται σε επίβλεψη ή απόσυρση της υπηρεσίας. Μπορείτε να το χρησιμοποιήσετε όπως κρίνετε σκόπιμο, χωρίς φόβο για συνέπειες για την παραβίαση μιας πολιτικής εταιρικού περιεχομένου.

Εάν οι υπολογιστικοί σας πόροι είναι λίγοι, μπορείτε ακόμη και να εκτελέσετε ένα LLM τοπικά σε ένα ταπεινό Raspberry Pi.