Εισαγωγή στο LangChain LLM: A Beginner's Guide

Με την εισαγωγή των μεγάλων γλωσσικών μοντέλων (LLMs), η Επεξεργασία Φυσικής Γλώσσας ήταν η συζήτηση του διαδικτύου. Νέες εφαρμογές αναπτύσσονται καθημερινά λόγω LLM όπως το ChatGPT και το LangChain.

Το LangChain είναι ένα πλαίσιο Python ανοιχτού κώδικα που επιτρέπει στους προγραμματιστές να αναπτύσσουν εφαρμογές που υποστηρίζονται από μεγάλα μοντέλα γλώσσας. Οι εφαρμογές του είναι τα chatbots, η σύνοψη, η γενετική ερώτηση και η απάντηση και πολλά άλλα.

Αυτό το άρθρο θα παρέχει μια εισαγωγή στο LangChain LLM. Θα καλύψει τις βασικές έννοιες, πώς συγκρίνεται με άλλα μοντέλα γλώσσας και πώς να ξεκινήσετε με αυτό.

Κατανόηση του LangChain LLM

Πριν εξηγήσετε πώς λειτουργεί το LangChain, πρέπει πρώτα να καταλάβετε πώς λειτουργούν τα μεγάλα γλωσσικά μοντέλα. Ένα μοντέλο μεγάλης γλώσσας είναι ένας τύπος τεχνητής νοημοσύνης (AI) που χρησιμοποιεί βαθιά μάθηση για την εκπαίδευση των μοντέλων μηχανικής εκμάθησης σε μεγάλα δεδομένα που αποτελούνται από δεδομένα κειμένου, αριθμητικών και κωδικών.

Ο τεράστιος όγκος δεδομένων επιτρέπει στο μοντέλο να μάθει τα υπάρχοντα μοτίβα και τις σχέσεις μεταξύ λέξεων, σχημάτων και συμβόλων. Αυτή η δυνατότητα επιτρέπει στο μοντέλο να εκτελεί μια σειρά εργασιών, όπως:

• Δημιουργία κειμένου, μετάφραση γλώσσας, συγγραφή δημιουργικού, τεχνικού και ακαδημαϊκού περιεχομένου και ακριβείς και σχετικές απαντήσεις σε ερωτήσεις.
• Ανίχνευση αντικειμένων σε εικόνες.
• Σύνοψη βιβλίων, άρθρων και ερευνητικών εργασιών.

Ο πιο σημαντικός περιορισμός των LLM είναι ότι τα μοντέλα είναι πολύ γενικά. Αυτή η δυνατότητα σημαίνει ότι παρά την ικανότητά τους να εκτελούν αποτελεσματικά πολλές εργασίες, μερικές φορές μπορεί να παρέχουν γενικές απαντήσεις σε ερωτήσεις ή προτροπές που απαιτούν εξειδίκευση και βαθιά γνώση του τομέα αντί για συγκεκριμένες απαντήσεις.

Αναπτύχθηκε από τον Harrison Chase στα τέλη του 2022, το πλαίσιο LangChain προσφέρει μια καινοτόμο προσέγγιση στα LLMs. Η διαδικασία ξεκινά με την προεπεξεργασία των κειμένων δεδομένων με τη διάσπασή τους σε μικρότερα μέρη ή περιλήψεις. Στη συνέχεια, οι περιλήψεις ενσωματώνονται σε ένα διανυσματικό χώρο. Το μοντέλο λαμβάνει μια ερώτηση, αναζητά τις περιλήψεις και παρέχει την κατάλληλη απάντηση.

Η μέθοδος προεπεξεργασίας του LangChain είναι ένα κρίσιμο χαρακτηριστικό που είναι αναπόφευκτο καθώς τα LLM γίνονται πιο ισχυρά και απαιτούν δεδομένα. Αυτή η μέθοδος χρησιμοποιείται κυρίως σε περιπτώσεις αναζήτησης κώδικα και σημασιολογίας, επειδή παρέχει συλλογή και αλληλεπίδραση σε πραγματικό χρόνο με τα LLM.

LangChain LLM vs. Άλλα μοντέλα γλώσσας

Η ακόλουθη συγκριτική επισκόπηση στοχεύει να τονίσει τα μοναδικά χαρακτηριστικά και τις δυνατότητες που ξεχωρίζουν το LangChain LLM από άλλα υπάρχοντα μοντέλα γλώσσας στην αγορά:

• Μνήμη: Πολλά LLM έχουν μικρή μνήμη, η οποία συνήθως οδηγεί σε απώλεια περιβάλλοντος, εάν τα μηνύματα υπερβαίνουν το όριο μνήμης. Το LangChain, ωστόσο, παρέχει τις προηγούμενες προτροπές συνομιλίας και απαντήσεις, επιλύοντας το ζήτημα των ορίων μνήμης. Το ιστορικό μηνυμάτων επιτρέπει σε έναν χρήστη να επαναλάβει τα προηγούμενα μηνύματα στο LLM για να ανακεφαλαιώσει το προηγούμενο πλαίσιο.
• LLM Switching: Σε σύγκριση με άλλα LLM που κλειδώνουν το λογισμικό σας με το API ενός μόνο μοντέλου, το LangChain παρέχει μια αφαίρεση που απλοποιεί την εναλλαγή των LLM ή την ενσωμάτωση πολλαπλών LLM στην εφαρμογή σας. Αυτό είναι χρήσιμο όταν θέλετε να αναβαθμίσετε τις δυνατότητες του λογισμικού σας χρησιμοποιώντας ένα συμπαγές μοντέλο, όπως το StableLM της Stability AI, ας πούμε από το GPT-3.5 του OpenAI.
• Ενσωμάτωση: Η ενσωμάτωση του LangChain στην εφαρμογή σας είναι εύκολη σε σύγκριση με άλλα LLM. Παρέχει ροές εργασίας μέσω αγωγών αλυσίδες και πράκτορες, επιτρέποντάς σας να ενσωματώσετε γρήγορα το LangChain στην εφαρμογή σας. Όσον αφορά τους γραμμικούς αγωγούς, οι αλυσίδες είναι αντικείμενα που ουσιαστικά συνδέουν πολλά μέρη. Οι πράκτορες είναι πιο προηγμένοι, επιτρέποντάς σας να επιλέξετε τον τρόπο αλληλεπίδρασης των στοιχείων χρησιμοποιώντας επιχειρηματική λογική. Για παράδειγμα, μπορεί να θέλετε να χρησιμοποιήσετε τη λογική υπό όρους για να καθορίσετε την επόμενη πορεία δράσης με βάση τα αποτελέσματα ενός LLM.
• Διαβίβαση δεδομένων: Λόγω της γενικής φύσης των LLM που βασίζονται σε κείμενο, είναι συνήθως δύσκολο να μεταβιβαστούν δεδομένα στο μοντέλο. Το LangChain λύνει αυτό το πρόβλημα χρησιμοποιώντας ευρετήρια. Τα ευρετήρια επιτρέπουν σε μια εφαρμογή να εισάγει δεδομένα σε μεταβλητές μορφές και να τα αποθηκεύει με τρόπο που καθιστά δυνατή την προβολή τους σειρά προς σειρά σε ένα LLM.
• Απαντήσεις: Το LangChain παρέχει εργαλεία ανάλυσης εξόδου για να δώσει απαντήσεις σε κατάλληλη μορφή σε αντίθεση με άλλα LLM των οποίων η απόκριση μοντέλου αποτελείται από γενικό κείμενο. Όταν χρησιμοποιείτε AI σε μια εφαρμογή, προτιμάται να έχετε μια δομημένη απόκριση στην οποία μπορείτε να προγραμματίσετε.

Ξεκινώντας με το LangChain LLM

Τώρα θα μάθετε πώς να εφαρμόσετε το LangChain σε ένα πραγματικό σενάριο περίπτωσης χρήσης για να κατανοήσετε πώς λειτουργεί. Πριν ξεκινήσετε την ανάπτυξη, πρέπει να ρυθμίσετε το περιβάλλον ανάπτυξης.

Ρύθμιση του αναπτυξιακού σας περιβάλλοντος

Πρώτα, δημιουργήστε ένα εικονικό περιβάλλον και εγκαταστήστε τις παρακάτω εξαρτήσεις:

• OpenAI: Για να ενσωματώσετε το GPT-3 API στην εφαρμογή σας.
• LangChain: Για να ενσωματώσετε το LangChain στην εφαρμογή σας.

Χρησιμοποιώντας το pip, εκτελέστε την παρακάτω εντολή για να εγκαταστήσετε τις εξαρτήσεις:

 pipenv εγκατάσταση langchain openai

Η παραπάνω εντολή εγκαθιστά τα πακέτα και δημιουργεί ένα εικονικό περιβάλλον.

Εισαγάγετε τις εγκατεστημένες εξαρτήσεις

Πρώτα, εισάγετε τις απαραίτητες κλάσεις όπως π.χ LLMCchain, OpenAI, Αλυσίδα συνομιλίας, και PromptTemplate από το langchain πακέτο.

από langchain εισαγωγή ConversationChain, OpenAI, PromptTemplate, LLMChain
από langchain.μνήμη εισαγωγή ConversationBufferWindowMemory

Οι τάξεις LangChain σκιαγραφούν και εκτελούν τις αλυσίδες μοντέλων γλώσσας.

Πρόσβαση στο OpenAI API Key

Στη συνέχεια, λάβετε το κλειδί OpenAI API. Για να αποκτήσετε πρόσβαση στο κλειδί API του OpenAI, πρέπει να έχετε λογαριασμό OpenAI και, στη συνέχεια, να μεταβείτε στο Πλατφόρμα OpenAI API.

Στον πίνακα ελέγχου, κάντε κλικ στο εικονίδιο Προφίλ. Στη συνέχεια, κάντε κλικ στο Προβολή κλειδιών API κουμπί.

Στη συνέχεια, κάντε κλικ στο Δημιουργήστε νέο μυστικό κλειδί κουμπί για να λάβετε ένα νέο κλειδί API.

Εισαγάγετε το ζητούμενο όνομα του κλειδιού API.

Θα λάβετε α μυστικό κλειδί προτροπή.

Αντιγράψτε και αποθηκεύστε το κλειδί API σε ασφαλές μέρος για μελλοντική χρήση.

Ανάπτυξη εφαρμογής με χρήση του LangChain LLM

Τώρα θα προχωρήσετε στην ανάπτυξη μιας απλής εφαρμογής συνομιλίας ως εξής:

# Προσαρμόστε το πρότυπο LLM 
πρότυπο = Το Assistant είναι ένα μεγάλο μοντέλο γλώσσας που εκπαιδεύεται από το OpenAI.
{ιστορία}
Άνθρωπος: {human_input}
Βοηθός:
prompt = PromptTemplate (input_variables=["ιστορία", "human_input"], template=template)

Στη συνέχεια, θα φορτώσετε την αλυσίδα ChatGPT χρησιμοποιώντας το κλειδί API που αποθηκεύσατε νωρίτερα.

chatgpt_chain = LLMCchain(
 llm=OpenAI(openai_api_key="OPENAI_API_KEY",θερμοκρασία=0),
 προτροπή=προτροπή,
 πολυλεκτικός=Αληθής,
 memory=ConversationBufferWindowMemory (k=2),
 )
# Πρόβλεψε μια πρόταση χρησιμοποιώντας την αλυσίδα chatgpt
output = chatgpt_chain.predict(
 ανθρώπινη_εισαγωγή="Τι είναι το MakeUseOf;"
 )
# Εμφάνιση της απόκρισης του μοντέλου
εκτύπωση (έξοδος)

Αυτός ο κώδικας φορτώνει την αλυσίδα LLM με το κλειδί OpenAI API και το πρότυπο προτροπής. Στη συνέχεια παρέχεται η είσοδος χρήστη και εμφανίζεται η έξοδος της.

Πάνω είναι η αναμενόμενη έξοδος.

Η αυξανόμενη επιρροή των LLMs

Η κατανάλωση LLM αυξάνεται ραγδαία και αλλάζει τον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με τις μηχανές γνώσης. Πλαίσια όπως το LangChain βρίσκονται στην πρώτη γραμμή της παροχής στους προγραμματιστές έναν ομαλό και απλό τρόπο εξυπηρέτησης των LLM σε εφαρμογές. Τα παραγωγικά μοντέλα τεχνητής νοημοσύνης όπως το ChatGPT, το Bard και το Hugging Face δεν μένουν πίσω στις προχωρημένες εφαρμογές LLM.