Τα 7 καλύτερα τοπικά/εκτός σύνδεσης LLM που μπορείτε να δοκιμάσετε τώρα

Οι χρήστες έχουν συνήθως πρόσβαση σε μεγάλα γλωσσικά μοντέλα (LLM) μέσω της χρήσης μιας διεπαφής χρήστη μέσω ενός API. Αν και παρέχει πολλά πλεονεκτήματα, η χρήση API εισάγει επίσης περιορισμούς, όπως η ανάγκη για συνεχές Διαδίκτυο σύνδεση, περιορισμένες προσαρμογές, πιθανά ζητήματα ασφάλειας και εταιρείες που περιορίζουν τις δυνατότητες του μοντέλου μέσω α paywall.

Με κβαντισμένα LLM τώρα διαθέσιμα στο HuggingFace και οικοσυστήματα τεχνητής νοημοσύνης όπως H20, Text Gen και GPT4All επιτρέποντάς σας να φορτώσετε βάρη LLM στον υπολογιστή σας, έχετε τώρα μια επιλογή για δωρεάν, ευέλικτο και ασφαλές ΟΛΑ ΣΥΜΠΕΡΙΛΑΜΒΑΝΟΝΤΑΙ.

Για να ξεκινήσετε, εδώ είναι επτά από τα καλύτερα τοπικά/εκτός σύνδεσης LLM που μπορείτε να χρησιμοποιήσετε αυτήν τη στιγμή!

1. Hermes GPTQ

Ένα υπερσύγχρονο γλωσσικό μοντέλο βελτιωμένο χρησιμοποιώντας ένα σύνολο δεδομένων 300.000 οδηγιών από τη Nous Research. Το Hermes βασίζεται στο LlaMA2 LLM της Meta και βελτιώθηκε χρησιμοποιώντας κυρίως συνθετικές εξόδους GPT-4.

Η χρήση του LlaMA2 ως βασικού του μοντέλου επιτρέπει στον Hermes να διπλασιάσει το μέγεθος περιβάλλοντος ή ένα μέγιστο μέγεθος διακριτικού 4.096. Συνδυάζοντας το μεγάλο μέγεθος περιβάλλοντος και μια αρχιτεκτονική κωδικοποιητή, ο Hermes είναι γνωστό ότι δίνει μεγάλες αποκρίσεις και χαμηλά ποσοστά παραισθήσεων. Αυτό κάνει τον Ερμή ένα εξαιρετικό μοντέλο για διάφορους επεξεργασία φυσικής γλώσσας (NLP) εργασίες, όπως η σύνταξη κώδικα, η δημιουργία περιεχομένου και η ύπαρξη chatbot.

Υπάρχουν αρκετές κβαντοποιήσεις και εκδόσεις του νέου Hermes GPTQ. Θα συνιστούσαμε πρώτα να δοκιμάσετε το μοντέλο Hermes-Llama2 13B-GPTQ, καθώς είναι η πιο εύκολη έκδοση για ανάπτυξη, ενώ εξακολουθεί να έχει εξαιρετική απόδοση.

2. Falcon Instruct GPTQ

Αυτή η κβαντισμένη έκδοση του Falcon βασίζεται στην αρχιτεκτονική μόνο για αποκωδικοποιητή, η οποία έχει ρυθμιστεί με ακρίβεια πάνω από το ακατέργαστο μοντέλο Flacon-7b της TII. Το βασικό μοντέλο Falcon εκπαιδεύτηκε χρησιμοποιώντας 1,5 τρισεκατομμύρια μάρκες που προέρχονται από το δημόσιο Διαδίκτυο. Ως μοντέλο μόνο αποκωδικοποιητή που βασίζεται σε οδηγίες με άδεια χρήσης βάσει του Apache 2, το Falcon Instruct είναι ιδανικό για μικρές επιχειρήσεις που αναζητούν ένα μοντέλο που θα χρησιμοποιηθεί για μετάφραση γλώσσας και εισαγωγή δεδομένων.

Ωστόσο, αυτή η έκδοση του Falcon δεν είναι ιδανική για μικρορύθμιση και είναι μόνο για εξαγωγή συμπερασμάτων. Εάν θέλετε να βελτιστοποιήσετε το Falcon, θα πρέπει να χρησιμοποιήσετε το ακατέργαστο μοντέλο, το οποίο μπορεί να απαιτεί πρόσβαση σε υλικό εκπαίδευσης εταιρικής ποιότητας, όπως το NVIDIA DGX ή AMD Instinct AI Accelerators.

3.GPT4ALL-J Groovy

Το GPT4All-J Groovy είναι ένα μοντέλο μόνο για αποκωδικοποιητή, βελτιστοποιημένο από την Nomic AI και άδεια χρήσης σύμφωνα με το Apache 2.0. Το GPT4ALL-J Groovy βασίζεται στο αρχικό μοντέλο GPT-J, το οποίο είναι γνωστό ότι είναι εξαιρετικό στη δημιουργία κειμένου από προτροπές. Το GPT4ALL -J Groovy έχει βελτιστοποιηθεί ως μοντέλο συνομιλίας, το οποίο είναι εξαιρετικό για γρήγορες και δημιουργικές εφαρμογές δημιουργίας κειμένου. Αυτό καθιστά το GPT4All-J Groovy ιδανικό για δημιουργούς περιεχομένου να τους βοηθήσουν στη συγγραφή και δημιουργικά έργα, είτε πρόκειται για ποίηση, μουσική ή ιστορίες.

Δυστυχώς, το βασικό μοντέλο GPT-J εκπαιδεύτηκε σε ένα σύνολο δεδομένων μόνο στα αγγλικά, πράγμα που σημαίνει ότι ακόμη και αυτό το βελτιωμένο μοντέλο GPT4ALL-J μπορεί να συνομιλεί και να εκτελεί εφαρμογές δημιουργίας κειμένου μόνο στα Αγγλικά.

4.WizardCoder-15B-GPTQ

Ψάχνετε για ένα μοντέλο ειδικά προσαρμοσμένο για κωδικοποίηση; Παρά το σημαντικά μικρότερο μέγεθός του, το WizardCoder είναι γνωστό ότι είναι ένα από τα καλύτερα μοντέλα κωδικοποίησης που ξεπερνά άλλα μοντέλα όπως το LlaMA-65B, το InstructCodeT5+ και το CodeGeeX. Αυτό το μοντέλο εκπαιδεύτηκε χρησιμοποιώντας μια μέθοδο Evol-Instruct ειδικά για την κωδικοποίηση, η οποία επεξεργάζεται αυτόματα τις προτροπές σας ώστε να είναι μια πιο αποτελεσματική προτροπή που σχετίζεται με την κωδικοποίηση που το μοντέλο μπορεί να κατανοήσει καλύτερα.

Καθώς έχει κβαντιστεί σε ένα μοντέλο 4-bit, το WizardCoder μπορεί πλέον να χρησιμοποιηθεί σε κανονικούς υπολογιστές, όπου τα άτομα μπορούν να το χρησιμοποιήσουν για πειραματισμούς και ως βοηθό κωδικοποίησης για απλούστερα προγράμματα και σενάρια.

5. Wizard Vicuna Uncensored-GPTQ

Το Wizard-Vicuna GPTQ είναι μια κβαντισμένη έκδοση του Wizard Vicuna που βασίζεται στο μοντέλο LlaMA. Σε αντίθεση με τα περισσότερα LLM που κυκλοφορούν στο κοινό, το Wizard-Vicuna είναι ένα μοντέλο χωρίς λογοκρισία και έχει αφαιρεθεί η ευθυγράμμισή του. Αυτό σημαίνει ότι το μοντέλο δεν έχει τα ίδια πρότυπα ασφάλειας και ηθικής όπως τα περισσότερα μοντέλα.

Αν και πιθανώς ποζάρει ένα Πρόβλημα ελέγχου ευθυγράμμισης AI, έχοντας ένα LLM χωρίς λογοκρισία αναδεικνύει επίσης το καλύτερο του μοντέλου, καθώς του επιτρέπεται να απαντά χωρίς κανέναν περιορισμό. Αυτό επιτρέπει επίσης στους χρήστες να προσθέσουν την προσαρμοσμένη τους στοίχιση σχετικά με τον τρόπο δράσης ή απάντησης του AI βάσει μιας δεδομένης προτροπής.

6. Orca Mini-GPTQ

Θέλετε να πειραματιστείτε με ένα μοντέλο εκπαιδευμένο σε μια μοναδική μέθοδο εκμάθησης; Το Orca Mini είναι ένα ανεπίσημο μοντέλο υλοποίησης των ερευνητικών εργασιών Orca της Microsoft. Εκπαιδεύτηκε χρησιμοποιώντας τη μέθοδο μάθησης δασκάλου-μαθητή, όπου το σύνολο δεδομένων ήταν γεμάτο εξηγήσεις και όχι μόνο προτροπές και απαντήσεις. Αυτό, θεωρητικά, θα πρέπει να οδηγήσει σε έναν πιο έξυπνο μαθητή, όπου το μοντέλο μπορεί να κατανοήσει το πρόβλημα αντί να ψάχνει απλώς για ζεύγη εισόδου και εξόδου, όπως το πώς λειτουργούν τα τυπικά LLM.

Με μόνο τρία δισεκατομμύρια παραμέτρους, το Orca Mini GPTQ είναι εύκολο να εκτελεστεί ακόμα και σε λιγότερο ισχυρά συστήματα. Ωστόσο, αυτό το μοντέλο δεν πρέπει να χρησιμοποιείται για οτιδήποτε επαγγελματικό, καθώς δημιουργεί ψευδείς πληροφορίες, μεροληπτικές και προσβλητικές απαντήσεις. Αυτό το μοντέλο θα πρέπει να χρησιμοποιηθεί για εκμάθηση και πειραματισμό με την Orca και τις μεθόδους της.

7.LlaMA 2 Chat GPTQ

Το LlaMA 2 είναι ο διάδοχος του αρχικού LlaMA LLM, το οποίο απέκτησε τα περισσότερα μοντέλα αυτής της λίστας. Το LlaMA 2 είναι μια συλλογή πολλών LLM, το καθένα εκπαιδευμένο χρησιμοποιώντας 7-70 δισεκατομμύρια παραμέτρους. Συνολικά, το LlaMA 2 προεκπαιδεύτηκε χρησιμοποιώντας 2 τρισεκατομμύρια μάρκες δεδομένων που ελήφθησαν από δημόσια διαθέσιμα σύνολα δεδομένων οδηγιών.

Το LlaMA 2 προορίζεται για χρήση για εμπορική και ερευνητική χρήση. Ως εκ τούτου, αυτό το μοντέλο χρησιμοποιείται καλύτερα μετά τη λεπτομέρεια για καλύτερη απόδοση σε συγκεκριμένες εργασίες. Αυτό το συγκεκριμένο μοντέλο GPTQ συνομιλίας LlaMA 2 έχει βελτιστοποιηθεί και βελτιστοποιηθεί για αγγλικό διάλογο, καθιστώντας το το τέλειο μοντέλο για εταιρείες και οργανισμούς ως chatbot με ελάχιστη έως καθόλου επιπλέον εκπαίδευση απαιτείται. Σύμφωνα με τους όρους, εταιρείες που έχουν λιγότερους από 700 εκατομμύρια χρήστες μπορούν να χρησιμοποιήσουν το LlaMA 2 χωρίς να πληρώσουν κανένα τέλος αδειοδότησης από τη Meta ή τη Microsoft.

Δοκιμάστε τοπικά μοντέλα μεγάλων γλωσσών σήμερα

Ορισμένα από τα μοντέλα που αναφέρονται παραπάνω έχουν διάφορες εκδόσεις όσον αφορά τις παραμέτρους. Γενικά, οι εκδόσεις υψηλότερων παραμέτρων αποδίδουν καλύτερα αποτελέσματα, αλλά απαιτούν πιο ισχυρό υλικό, ενώ οι εκδόσεις χαμηλότερων παραμέτρων θα παράγουν αποτελέσματα χαμηλότερης ποιότητας, αλλά μπορούν να εκτελεστούν σε υλικό χαμηλότερης ποιότητας. Εάν δεν είστε σίγουροι εάν ο υπολογιστής σας μπορεί να εκτελέσει το μοντέλο, δοκιμάστε πρώτα να χρησιμοποιήσετε την έκδοση χαμηλότερης παραμέτρου και μετά συνεχίστε μέχρι να νιώσετε ότι η πτώση της απόδοσης δεν είναι πλέον αποδεκτή.

Δεδομένου ότι τα κβαντισμένα μοντέλα σε αυτήν τη λίστα καταλαμβάνουν μόνο μερικά gigabyte χώρου και πλατφόρμες ανάπτυξης μοντέλων όπως το GPT4All και Το Text-Generation-WebUI μπορεί εύκολα να εγκατασταθεί μέσω των προγραμμάτων εγκατάστασης με ένα κλικ, δοκιμάζοντας πολλά μοντέλα και οι εκδόσεις μοντέλων δεν χρειάζονται πολύ χρόνο και προσπάθεια.

Λοιπόν, τι περιμένεις; Δοκιμάστε ένα τοπικό μοντέλο σήμερα!