ChatGPT è il chatbot AI rivoluzionario di OpenAI che sta facendo stupire Internet. Contro tutte le tendenze tecnologiche consolidate, ChatGPT non ha impiegato molto a trovare la sua strada in quasi tutte le aree della nostra vita digitale.
Pochissime innovazioni tecnologiche hanno raccolto tanto interesse quanto ChatGPT ha ottenuto in così poco tempo. Sembra che non finiscano mai i trucchi interessanti: ogni giorno impariamo cose nuove ed entusiasmanti che non sapevamo potessero fare.
Ma in che modo ChatGPT è in grado di fare le cose che può fare? Come funziona ChatGPT?
Come è stato creato ChatGPT?
Per capire come funziona ChatGPT, vale la pena esaminare le sue origini e il cervello dietro il chatbot AI all'avanguardia.
In primo luogo, per quanto magico possa sembrare ChatGPT, è stato costruito dal genio degli umani, proprio come ogni tecnologia software utile là fuori. OpenAI ha creato ChatGPT, la rivoluzionaria società di ricerca e sviluppo AI dietro altri potenti strumenti AI come DALL-E, InstructGPT e Codex. Abbiamo già risposto
alcune domande che potresti avere su ChatGPT, quindi dai un'occhiata.Mentre ChatGPT è diventato virale verso la fine del 2022, la maggior parte della tecnologia sottostante che alimenta ChatGPT esiste da molto più tempo, anche se con molta meno pubblicità. Il modello ChatGPT è basato su GPT-3 (o, più specificamente, GPT-3.5). GPT sta per "Generative Pre-trained Transformer 3".
GPT-3 è la terza iterazione della linea GPT di modelli AI ed è stata preceduta da GPT-2 e GPT. Le iterazioni precedenti dei modelli GPT sono ugualmente utili, ma GPT-3 e l'iterazione GPT-3.5 finemente sintonizzata sono molto più potenti. La maggior parte di ciò che ChatGPT può fare è dovuto alla tecnologia GPT-3 sottostante.
Cos'è GPT?
Quindi abbiamo stabilito che ChatGPT è basato sulla terza generazione del modello GPT. Ma cos'è comunque GPT?
Iniziamo scompattando gli acronimi in modo facile da digerire e non tecnico.
- Il "generativo" in GPT rappresenta la sua capacità di generare testo in linguaggio umano naturale.
- Il "Pre-addestrato" rappresenta il fatto che il modello è già stato addestrato su un set di dati finito. Proprio come leggeresti un libro o forse diversi libri prima che ti venga chiesto di rispondere a domande al riguardo.
- Il "Transformer" rappresenta l'architettura di apprendimento automatico sottostante che alimenta GPT.
Ora, mettendo tutto insieme, Generative Pre-addestrato Transformer (GPT) è un modello linguistico che è stato addestrato utilizzando dati da Internet con l'obiettivo di generare testo in linguaggio umano quando presentato con a richiesta. Quindi, abbiamo ripetutamente affermato che GPT è stato addestrato, ma come è stato addestrato?
Come è stato addestrato ChatGPT?
Lo stesso ChatGPT non è stato addestrato da zero. Invece, è una versione ottimizzata di GPT-3.5, che a sua volta è una versione ottimizzata di GPT-3. Il modello GPT-3 è stato addestrato con un'enorme quantità di dati raccolti da Internet. Pensa a Wikipedia, Twitter e Reddit: è stato alimentato con dati e testo umano raschiato da tutti gli angoli di Internet.
Se ti stai chiedendo come funziona la formazione GPT, GPT-3 è stato addestrato utilizzando una combinazione di apprendimento supervisionato e Apprendimento per rinforzo attraverso il feedback umano (RLHF). L'apprendimento supervisionato è la fase in cui il modello viene addestrato su un ampio set di dati di testo prelevato da Internet. La fase di apprendimento per rinforzo è quella in cui viene addestrato a produrre risposte migliori che si allineano con ciò che gli umani accetterebbero come umani e corretti.
Formazione con apprendimento supervisionato
Per capire meglio come l'apprendimento supervisionato e di rinforzo si applica a ChatGPT, immagina uno scenario in cui a uno studente viene insegnato a scrivere un saggio da un insegnante. L'apprendimento supervisionato sarebbe l'equivalente dell'insegnante che dà allo studente centinaia di saggi da leggere. L'obiettivo qui è che lo studente impari come dovrebbe essere scritto un saggio abituandosi al tono, al vocabolario e alla struttura di centinaia di saggi.
Tuttavia, ci saranno buoni e cattivi tra quelle centinaia di saggi. Poiché lo studente è stato addestrato su copie buone e cattive, a volte lo studente potrebbe scrivere un brutto saggio perché a un certo punto lo studente è stato nutrito anche di cattivi saggi. Ciò significa che quando viene chiesto di scrivere un saggio, lo studente potrebbe scrivere una copia che non è accettabile o abbastanza buona per l'insegnante. È qui che entra in gioco l'apprendimento per rinforzo.
Formazione con apprendimento per rinforzo
Una volta che l'insegnante stabilisce che lo studente comprende le regole generali della scrittura di saggi leggendo centinaia di saggi, l'insegnante assegna allo studente frequenti compiti di scrittura di saggi. Successivamente, l'insegnante forniva un feedback sul saggio scrivendo i compiti, dicendo agli studenti cosa hanno fatto bene e cosa potrebbero migliorare. Lo studente utilizza il feedback per guidare i successivi compiti di scrittura del saggio, aiutando lo studente a migliorare nel tempo.
Questo è simile alla fase di apprendimento per rinforzo dell'addestramento del modello GPT. Dopo aver ricevuto un'enorme quantità di testo raschiato da Internet, il modello può rispondere alle domande. Tuttavia, la sua precisione non sarà abbastanza buona. I formatori umani pongono una domanda al modello e forniscono un feedback su quale risposta è più appropriata per ogni domanda.
Il modello utilizza il feedback per migliorare la sua capacità di rispondere alle domande in modo più accurato e più simile a come risponderebbe un essere umano. Questo è il modo in cui ChatGPT può generare risposte dal suono umano che sono sia coerenti, coinvolgenti e generalmente accurate.
In che modo ChatGPT è in grado di rispondere alle domande?
Quindi, visiti il sito Web di ChatGPT e accedi. Chiedi a ChatGPT: "scrivi una canzone rap nello stile di Snoop Dogg". Risponde con il testo di una canzone rap che sembra sorprendentemente simile a ciò che scriverebbe Snoop Dogg. Com'è possibile?
Bene, la "magia" dietro ChatGPT si lega perfettamente alla sua formazione.
Dopo aver coperto ogni centimetro del tuo libro di testo di Fisica 101, ci sono buone probabilità che tu sia in grado di rispondere a qualsiasi domanda ti venga lanciata. Perché? Perché l'hai letto e l'hai imparato. È la stessa cosa con ChatGPT: impara. E come ha dimostrato la civiltà umana, con un addestramento sufficiente, è possibile risolvere quasi tutti i problemi.
Mentre probabilmente puoi gestire centinaia di libri nella tua vita, ChatGPT o GPT ha già consumato un'enorme fetta di Internet. Questa è un'enorme ricchezza di informazioni. Lì dentro, da qualche parte, ci sono probabilmente i testi delle numerose canzoni di Snoop Dogg. Quindi, ovviamente, ChatGPT deve averlo consumato (ricorda, è pre-addestrato) e ha riconosciuto schemi nei testi di Snoop Dogg. Userebbe quindi una "conoscenza" di questo schema per "prevedere" il testo di una canzone simile a quella che avrebbe scritto Snoop Dogg.
L'enfasi qui è su "prevedere". ChatGPT non risponde alle domande nello stesso modo in cui facciamo noi umani. Ad esempio, di fronte a una domanda come "Qual è la capitale del Portogallo?" potresti dire Lisbona e dirlo per un "fatto". Tuttavia, ChatGPT non risponde alle domande con certezza al 100%. Invece, cerca di prevedere la risposta giusta in base ai dati che ha consumato nel suo set di dati di addestramento.
L'approccio di ChatGPT alla risposta alle domande
Per comprendere meglio il concetto di previsione delle risposte, immagina ChatGPT come un detective incaricato di risolvere un omicidio. Al detective vengono presentate le prove, ma non sanno chi ha commesso l'omicidio e come sia successo. Tuttavia, con prove sufficienti, il detective può "prevedere" con grande precisione chi è responsabile dell'omicidio e come è stato commesso il crimine.
Dopo aver consumato i dati da Internet, ChatGPT elimina i dati originali e memorizza le connessioni neurali o i modelli che ha appreso dai dati. Queste connessioni o modelli sono come prove che ChatGPT analizza quando tenta di rispondere a qualsiasi richiesta.
Quindi, in teoria, ChatGPT è come un ottimo detective. Non sa con certezza quali dovrebbero essere i fatti di una risposta, ma ci prova, con impressione accuratezza, per prevedere una sequenza logica di testo in linguaggio umano che risponderebbe in modo più appropriato al domanda. È così che ottieni le risposte alle tue domande.
Ed è anche per questo che alcune di quelle risposte sembrano molto convincenti ma sono terribilmente sbagliate.
ChatGPT: risponde come un essere umano, pensa come una macchina
I dettagli tecnici sottostanti di ChatGPT sono complessi. Tuttavia, da un punto di vista rudimentale, funziona imparando e riproducendo ciò che ha appreso quando richiesto, proprio come facciamo noi umani.
Man mano che ChatGPT si evolve attraverso la ricerca, il modo in cui funziona potrebbe cambiare. Tuttavia, i suoi principi di funzionamento fondamentali rimarranno gli stessi per un po', almeno fino a quando non arriverà una nuova tecnologia dirompente.
