Usare un modello linguistico locale di grandi dimensioni non è per tutti, ma ci sono alcuni buoni motivi per cui potresti provare.

Punti chiave

  • Meno censura: i LLM locali offrono la libertà di discutere argomenti stimolanti senza le restrizioni imposte ai chatbot pubblici, consentendo conversazioni più aperte.
  • Migliore privacy dei dati: utilizzando un LLM locale, tutti i dati generati rimangono sul tuo computer, garantendo la privacy e impedendo l'accesso da parte delle aziende che gestiscono LLM rivolti al pubblico.
  • Utilizzo offline: i LLM locali consentono un utilizzo ininterrotto in aree remote o isolate senza accesso Internet affidabile, fornendo uno strumento prezioso in tali scenari.

Dall'arrivo di ChatGPT nel novembre 2022, il termine large Language Model (LLM) è rapidamente passato da un termine di nicchia per i nerd dell'intelligenza artificiale a una parola d'ordine sulla bocca di tutti. Il più grande fascino di un LLM locale è la capacità di replicare le capacità di un chatbot come ChatGPT sul tuo computer senza il peso di una versione ospitata sul cloud.

instagram viewer

Esistono argomenti a favore e contro la configurazione di un LLM locale sul tuo computer. Ridurremo l'hype e ti forniremo i fatti. Dovresti utilizzare un LLM locale?

I vantaggi dell'utilizzo di LLM locali

Perché le persone sono così entusiaste di crearne una propria grandi modelli linguistici sui loro computer? Al di là del clamore pubblicitario e del diritto di vantarsi, quali sono alcuni vantaggi pratici?

1. Meno censura

Quando ChatGPT e Bing AI furono messi online per la prima volta, le cose che entrambi i chatbot erano disposti a dire e a fare erano tanto affascinanti quanto allarmanti. Bing AI si è comportato in modo caloroso e adorabile, come se avesse emozioni. ChatGPT era disposto a usare parolacce se glielo chiedevi gentilmente. All'epoca, entrambi i chatbot ti avrebbero persino aiutato a costruire una bomba se avessi usato i suggerimenti giusti. Potrebbe sembrare sbagliato in tutte le sue sfumature, ma essere in grado di fare qualsiasi cosa era emblematico delle capacità illimitate dei modelli linguistici che li alimentavano.

Oggi, entrambi i chatbot sono stati censurati così strettamente che non ti aiuteranno nemmeno a scrivere un romanzo poliziesco immaginario con scene violente. Alcuni chatbot basati sull'intelligenza artificiale non parlano nemmeno di religione o politica. Sebbene i LLM che puoi impostare localmente non siano del tutto esenti da censura, molti di loro faranno volentieri le cose stimolanti che i chatbot rivolti al pubblico non faranno. Quindi, se non vuoi che un robot ti tenga lezioni di moralità quando discuti argomenti di interesse personale, gestire un LLM locale potrebbe essere la strada da percorrere.

2. Migliore privacy dei dati

Uno dei motivi principali per cui le persone optano per un LLM locale è garantire che tutto ciò che accade sul proprio computer rimanga sul proprio computer. Quando utilizzi un LLM locale, è come avere una conversazione privata nel tuo salotto: nessuno all'esterno può ascoltare. Sia che tu stia sperimentando con i dettagli della tua carta di credito o avendo conversazioni personali sensibili con LLM, tutti i dati risultanti vengono archiviati solo sul tuo computer. L'alternativa è utilizzare LLM rivolti al pubblico come GPT-4, che consente alle società responsabili di accedere alle informazioni della tua chat.

3. Utilizzo offline

Dato che Internet è ampiamente conveniente e accessibile, l'accesso offline potrebbe sembrare un motivo banale per utilizzare un LLM locale. L’accesso offline potrebbe diventare particolarmente critico in luoghi remoti o isolati dove il servizio Internet è inaffidabile o non disponibile. In tali scenari, un LLM locale che opera indipendentemente da una connessione Internet diventa uno strumento vitale. Ti permette di continuare a fare quello che vuoi senza interruzioni.

4. Risparmi

Il prezzo medio per accedere a un LLM capace come GPT-4 o Claude 2 è di $ 20 al mese. Anche se potrebbe non sembrare un prezzo allarmante, hai comunque diverse fastidiose restrizioni per quell’importo. Ad esempio, con GPT-4, a cui si accede tramite ChatGPT, sei bloccato con un limite di 50 messaggi ogni tre ore. Puoi superare questi limiti solo tramite passaggio al piano ChatGPT Enterprise, che potrebbe costare migliaia di dollari. Con un LLM locale, una volta configurato il software, non sono previsti abbonamenti mensili di $ 20 o costi ricorrenti da pagare. È come comprare un'auto invece di affidarsi ai servizi di ride-sharing. Inizialmente è costoso, ma col tempo risparmierai denaro.

5. Migliore personalizzazione

I chatbot AI disponibili pubblicamente hanno una personalizzazione limitata a causa di problemi di sicurezza e censura. Con un assistente AI ospitato localmente, puoi personalizzare completamente il modello per le tue esigenze specifiche. Puoi formare l'assistente sui dati proprietari personalizzati in base ai tuoi casi d'uso, migliorando la pertinenza e l'accuratezza. Ad esempio, un avvocato potrebbe ottimizzare la propria intelligenza artificiale locale per generare approfondimenti legali più precisi. Il vantaggio principale è il controllo sulla personalizzazione per le vostre esigenze specifiche.

Gli svantaggi dell'utilizzo di LLM locali

Prima di effettuare il passaggio, ci sono alcuni aspetti negativi nell'utilizzo di un LLM locale che dovresti considerare.

1. Risorsa intensiva

Per eseguire un LLM locale performante, avrai bisogno di hardware di fascia alta. Pensa a CPU potenti, molta RAM e probabilmente una GPU dedicata. Non aspettarti che un laptop con un budget di $ 400 offra una buona esperienza. Le risposte saranno dolorosamente lente, soprattutto con modelli di intelligenza artificiale più grandi. È come eseguire videogiochi all'avanguardia: hai bisogno di specifiche robuste per prestazioni ottimali. Potresti anche aver bisogno di soluzioni di raffreddamento specializzate. La conclusione è che i LLM locali richiedono un investimento in hardware di alto livello per ottenere la velocità e la reattività di cui si gode sui LLM basati sul web (o addirittura migliorarli). Le esigenze informatiche da parte tua saranno significative rispetto all'utilizzo di servizi basati sul Web.

2. Risposte più lente e prestazioni inferiori

Una limitazione comune dei LLM locali sono i tempi di risposta più lenti. La velocità esatta dipende dallo specifico modello di intelligenza artificiale e dall'hardware utilizzato, ma la maggior parte delle configurazioni è in ritardo rispetto ai servizi online. Dopo aver ricevuto risposte immediate da ChatGPT, Bard e altri, i LLM locali possono sembrare sorprendentemente lenti. Le parole escono lentamente invece di essere rapidamente restituite. Ciò non è universalmente vero, poiché alcune distribuzioni locali ottengono buone prestazioni. Ma gli utenti medi devono affrontare un forte calo rispetto all’esperienza web scattante. Quindi, preparatevi per uno “shock culturale” dai sistemi online veloci agli equivalenti locali più lenti.

In breve, a meno che tu non stia utilizzando una configurazione assolutamente al top della gamma (stiamo parlando di AMD Ryzen 5800X3D con Nvidia RTX 4090 e abbastanza RAM per affondare una nave), le prestazioni complessive del tuo LLM locale non saranno paragonabili a quelle dei chatbot IA generativi online che stai utilizzando abituato a.

3. Configurazione complessa

L'implementazione di un LLM locale è più complessa della semplice registrazione a un servizio di intelligenza artificiale basato sul web. Con una connessione Internet, il tuo account ChatGPT, Bard o Bing AI potrebbe essere pronto per avviare la richiesta in pochi minuti. La configurazione di uno stack LLM locale completo richiede il download di framework, la configurazione dell'infrastruttura e l'integrazione di vari componenti. Per i modelli più grandi, questo processo complesso può richiedere ore, anche con strumenti che mirano a semplificare l'installazione. Alcuni sistemi di intelligenza artificiale all’avanguardia richiedono ancora competenze tecniche approfondite per funzionare a livello locale. Pertanto, a differenza dei modelli di intelligenza artificiale plug-and-play basati sul web, la gestione della propria intelligenza artificiale comporta un significativo investimento tecnico e di tempo.

4. Conoscenza limitata

Molti LLM locali sono bloccati nel passato. Hanno una conoscenza limitata degli eventi attuali. Ricordi quando ChatGPT non poteva accedere a Internet? Quando poteva fornire risposte solo a domande su eventi accaduti prima di settembre 2021? SÌ? Ebbene, analogamente ai primi modelli ChatGPT, i modelli linguistici ospitati localmente vengono spesso addestrati solo sui dati prima di una determinata data limite. Di conseguenza, non sono consapevoli dei recenti sviluppi successivi a quel punto.

Inoltre, i LLM locali non possono accedere ai dati Internet in tempo reale. Ciò limita l'utilità per le query in tempo reale come i prezzi delle azioni o il meteo. Per godere di una parvenza di dati in tempo reale, gli LLM locali richiederanno in genere un ulteriore livello di integrazione con i servizi connessi a Internet. L'accesso a Internet è uno dei motivi per cui potresti. considera l'aggiornamento a ChatGPT Plus!

Dovresti utilizzare un LLM locale?

I modelli linguistici locali di grandi dimensioni offrono vantaggi allettanti, ma presentano anche reali svantaggi da considerare prima di fare il grande passo. Meno censura, migliore privacy, accesso offline, risparmio sui costi e personalizzazione costituiscono un argomento convincente per impostare il tuo LLM localmente. Tuttavia, questi vantaggi hanno un prezzo. Con molti LLM disponibili gratuitamente online, lanciarsi in LLM locali può essere come schiacciare una mosca con una mazza: possibile ma eccessivo. Ma ricorda, se è gratuito, probabilmente il prodotto sei tu e i dati che generi. Quindi, oggi non esiste una risposta definitiva giusta o sbagliata. Valutare le tue priorità determinerà se è il momento giusto per effettuare il passaggio.