Come eseguire un modello di linguaggio di grandi dimensioni su Linux (e perché dovresti)

I modelli linguistici di grandi dimensioni hanno il potenziale per rivoluzionare il modo in cui vivi e lavori e possono sostenere conversazioni e rispondere a domande con un grado variabile di accuratezza.

Per utilizzarne uno, in genere è necessario un account con un provider LLM e per accedere tramite un sito Web o un'app dedicata. Ma sapevi che puoi eseguire il tuo modello di linguaggio di grandi dimensioni interamente offline su Linux?

Perché eseguire un modello di linguaggio di grandi dimensioni su Linux?

I modelli di linguaggio di grandi dimensioni (LLM) sono ovunque in questi giorni e possono elaborare il linguaggio naturale e fornire risposte appropriate che possono indurti a pensare che un essere umano abbia risposto. Microsoft sta lanciando una nuova versione di Bing basata sull'intelligenza artificiale, mentre quello di Alphabet Bard è ora parte integrante delle ricerche su Google.

Lontano dai motori di ricerca, puoi utilizzare i cosiddetti "chatbot AI" per rispondere a domande, comporre poesie o persino fare i compiti per te.

Ma accedendo agli LLM online, dipendi dalla buona volontà di un fornitore di terze parti, che può essere ritirato in qualsiasi momento.

Sei anche soggetto a limitazioni di utilizzo. Chiedi a OpenAI di scrivere un romanzo erotico di 6.000 parole ambientato nella Germania nazista, ad esempio, e otterrai una risposta del tipo "Mi scuso, ma non sarò in grado di generare quella storia per te".

Tutto ciò che inserisci negli LLM online viene utilizzato per addestrarli ulteriormente e i dati che potresti voler mantenere riservati potrebbero essere sputati in futuro come parte di una risposta alla domanda di qualcun altro.

Sei anche soggetto alla mancanza di servizio in quanto il sistema è inondato di utenti e ti assilla per iscriverti, quindi puoi accedere alla piattaforma quando la domanda è alta.

Dalai è un'implementazione gratuita e open source di LLaMa LLM di Meta e Alpaca di Stanford. Funzionerà comodamente su hardware modesto e fornisce una pratica interfaccia web e una gamma di modelli di prompt, quindi puoi chiedere qualsiasi cosa vuoi, senza temere che un amministratore chiuda il tuo account, LLM si rifiuterà di rispondere o la tua connessione si interromperà gocciolare.

Quando installi un LLM in locale su Linux, è tuo e puoi usarlo come preferisci.

Come installare Dalai su Linux

Il modo più semplice per installare Dalai su Linux è utilizzare Docker e Docker Compose. Se non li hai già, consulta la nostra guida su come installare Docker e Docker Compose.

Detto questo, sei pronto per iniziare a installare Dalai. Clona il repository Dalai GitHub e usa il comando cd per spostarti al suo interno:

clone di git https://github.com/cocktailpeanut/dalai.git && cd dalai

Per far funzionare Dalai con un'interfaccia web, per prima cosa crea il file Docker Compose:

build docker-compose

Docker Compose scaricherà e installerà Python 3.11, Node Version Manager (NVM) e Node.js.

Nella fase sette di nove, la build sembrerà bloccarsi mentre Docker Compose scarica Dalai. Non preoccuparti: controlla l'utilizzo della larghezza di banda per rassicurarti che qualcosa sta succedendo e simula l'evoluzione di organismi virtuali nel tuo terminale mentre aspetti.

Alla fine, verrai riportato al prompt dei comandi.

I modelli Dalai e LLaMa/Alpaca richiedono molta memoria per essere eseguiti. Sebbene non ci siano specifiche ufficiali, una buona guida approssimativa è di 4 GB per il modello 7B, 8 GB per il modello 13B, 16 GB per il modello 30B e 32 GB per il modello 65B.

I modelli Alpaca sono relativamente piccoli, con il modello 13B che raggiunge un modesto 7,6 GB, ma i pesi LLaMA possono essere enormi: il download equivalente da 13 B arriva a 60,21 GB e il modello da 65 B occuperà un epico mezzo terabyte sul tuo disco rigido disco.

Decidi quale modello è più adatto alle tue risorse e usa il seguente comando per installarlo:

docker-compose esegui dalai npx dalai alpaca installa 13B

O:

docker-compose esegui dalai npx dalai llama install 13B

C'è la possibilità che i modelli scaricati tramite Dalai possano essere corrotti. Se questo è il caso, prendili da Volto che abbraccia Invece.

Dopo essere tornato al prompt dei comandi, richiama Docker Compose in modalità separata:

docker-componi -d

Controlla se il contenitore funziona correttamente con:

finestra mobile-componi ps

Se tutto funziona come dovrebbe, apri un browser web ed entra host locale: 3000 nella barra degli indirizzi.

Divertiti con il tuo modello di linguaggio di grandi dimensioni su Linux

Quando si apre l'interfaccia web, vedrai una casella di testo, in cui puoi scrivere i tuoi prompt.

Scrivere suggerimenti efficaci è difficile e gli sviluppatori di Dalai hanno provveduto a fornire una gamma di modelli che ti aiuteranno a ottenere una risposta utile da Dalai.

Questi sono Dialogo AI, chatbot, Predefinito, Istruzione, Riscrivere, Tradurre, E Tweet-sentimento.

Come ti aspetteresti, il Dialogo AI E chatbot i modelli sono strutturati in un modo che ti consente di tenere una sorta di conversazione con il LLM. La differenza principale tra i due è che il chatbot dovrebbe essere "molto intelligente", mentre l'AI-Dialog è "utile, gentile, obbediente, onesto e conosce i propri limiti".

Naturalmente, questa è la tua "IA", e se ti piace, puoi modificare il prompt in modo che il chatbot sia stupido e le caratteristiche del dialogo AI siano "sadistiche" e "inutili". Tocca a voi.

Abbiamo testato il Tradurre funzione copiando il paragrafo iniziale di una notizia della BBC e chiedendo a Dalai di tradurlo in spagnolo. La traduzione era buona e quando l'abbiamo eseguita su Google Translate per riportarla in inglese, abbiamo scoperto che era abbastanza leggibile e riecheggiava i fatti e il sentimento del pezzo originale.

Allo stesso modo, il Riscrivere template trasformava il testo in modo convincente nell'apertura di un nuovo articolo.

IL Predefinito E Istruzione i suggerimenti sono strutturati per aiutarti a porre domande o istruire direttamente Dalai.

La precisione della risposta di Dalai varierà notevolmente a seconda del modello che stai utilizzando. Un modello 30B sarà molto più utile di un modello 7B. Ma anche allora, ti viene in mente che i LLM sono semplicemente sistemi sofisticati per indovinare la parola successiva in una frase.

Né i modelli 7B né 13B Alpaca sono stati in grado di fornire un accurato riassunto di 200 parole del racconto "Gatto nella Rain" di Ernest Hemingway, ed entrambi hanno inventato linee di trama e dettagli assolutamente convincenti su ciò che la storia contenuto.

E mentre l'AI-Dialog "disponibile, gentile, obbediente, onesto" che "conosce i propri limiti" e Chatbot "altamente intelligente" si opporrà suggerimenti controversi, puoi dare a Dalai un'istruzione diretta o una richiesta predefinita, e scriverà quello che vuoi, come preferisci Esso.

Un grande modello linguistico sulla tua macchina Linux è tuo

Eseguendo un modello di linguaggio di grandi dimensioni sulla tua Linux box, non sei soggetto a supervisione o ritiro del servizio. Puoi usarlo come ritieni opportuno senza timore di conseguenze per la violazione di una politica sui contenuti aziendali.

Se le tue risorse di elaborazione sono poche, puoi persino eseguire un LLM in locale su un modesto Raspberry Pi.