Sebbene OpenAI stia aprendo la strada allo sviluppo dell'IA generativa, molti hanno accusato Google di restare indietro. Tuttavia, per non essere da meno, Google ha lanciato un nuovo modello di linguaggio di grandi dimensioni, PaLM 2, alla conferenza Google I/O del 2023.
Previsto per essere disponibile in quattro diverse dimensioni per una vasta gamma di applicazioni, il nuovo LLM di Google apparentemente sta già alimentando diversi servizi Google, con molto altro ancora in arrivo.
Cos'è PaLM 2?
Al Google I/O 2023, tenutosi il 10 maggio, il CEO di Google Sunda Pichai ha rivelato l'ultimo giocattolo di Google: PALMA 2.
Abbreviazione di Pathways Language Model 2, l'LLM aggiornato di Google è la seconda iterazione di PaLM, con la prima versione lanciata nell'aprile 2022. Non ricordi PaLM? Bene, all'epoca era una grande novità e ha ricevuto un sacco di interesse per la sua capacità di conversare un po', raccontare barzellette di base e così via. Avanti veloce di sei mesi e Il GPT-3.5 di OpenAI ha fatto saltare tutto fuori dall'acqua, incluso PaLM.
Da allora, OpenAI ha lanciato GPT-4, un enorme aggiornamento su GPT-3.5. Tuttavia, mentre il modello più recente viene integrato in numerosi strumenti, in particolare Bing AI Chat di Microsoft, Google sta prendendo la mira a OpenAI e GPT-4 con PaLM 2 e spera che il suo LLM aggiornato possa colmare quella che sembrava essere una lacuna significativa: il lancio di Google Bard non è stato certo un successo successo.
Pichai ha annunciato che PaLM 2 sarà disponibile in quattro diverse dimensioni di modello: Gecko, Otter, Bison e Unicorn.
Gecko è così leggero che può funzionare su dispositivi mobili ed è abbastanza veloce per fantastiche applicazioni interattive sul dispositivo, anche offline. Questa versatilità significa che PaLM 2 può essere messo a punto per supportare intere classi di prodotti in più modi, per aiutare più persone.
Con Gecko in grado di elaborare circa 20 token al secondo (i token sono i valori assegnati a parole reali per l'uso da parte di modelli di intelligenza artificiale generativa), sembra probabile che sia un punto di svolta per gli strumenti di intelligenza artificiale distribuibili su dispositivi mobili.
Dati di addestramento PaLM 2
Google non è stato esattamente disponibile con i dati di addestramento di PaLM 2, comprensibile dato che è stato appena rilasciato. Ma di Google Rapporto PaLM 2 [PDF] ha affermato che voleva che PaLM 2 avesse una comprensione più profonda della matematica, della logica e della scienza e che gran parte del suo corpus di formazione si concentrava su questi argomenti.
Tuttavia, vale la pena notare che PaLM non è stato un problema. Quando Google ha rivelato PaLM, ha confermato di essere stato addestrato su 540 miliardi di parametri, che all'epoca era una cifra colossale.
Si presume che il GPT-4 di OpenAI utilizzi oltre un trilione di parametri, con alcune speculazioni che portano quella cifra fino a 1,7 trilioni. È una scommessa sicura che, poiché Google vuole che PaLM 2 competa direttamente con gli LLM di OpenAI, presenterà, come minimo, una cifra comparabile, se non di più.
Un altro impulso significativo a PaLM 2 sono i dati sulla formazione linguistica. Google ha addestrato PaLM 2 in oltre 100 lingue per dargli maggiore profondità e comprensione contestuale e aumentare le sue capacità di traduzione.
Ma non sono solo le lingue parlate. Collegandosi alla richiesta di Google di PaLM 2 per fornire migliori ragionamenti scientifici e matematici, il LLM ha è stato anche addestrato in più di 20 linguaggi di programmazione, il che lo rende una risorsa fenomenale per i programmatori.
PaLM 2 sta già alimentando i servizi Google, ma richiede ancora una messa a punto
Non passerà molto tempo prima che possiamo mettere le mani su PaLM 2 e vedere cosa può fare. Con un po' di fortuna, il lancio di qualsiasi applicazione e servizio PaLM 2 sarà migliore di Bard.
Ma potresti aver già (tecnicamente!) usato PaLM 2. Google ha confermato che PaLM 2 è già distribuito e in uso su 25 dei suoi prodotti, tra cui Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets e altro ancora.
Ma il rapporto PaLM 2 rivela anche che c'è ancora del lavoro da fare, in particolare verso risposte tossiche in una vasta gamma di lingue.
Ad esempio, quando vengono forniti specificamente suggerimenti tossici, PaLM 2 genera risposte tossiche più del 30% delle volte. Inoltre, in lingue specifiche - inglese, tedesco e portoghese - PaLM 2 ha fornito più risposte tossiche del 17 percento delle volte, con suggerimenti che includono identità razziali e religioni che spingono quella cifra più alto.
Non importa quanto i ricercatori tentino di ripulire i dati di formazione LLM, è inevitabile che alcuni sfuggiscano. La fase successiva è continuare ad addestrare PaLM 2 per ridurre quelle risposte tossiche.
È un periodo di boom per i modelli linguistici di grandi dimensioni
OpenAI non è stato il primo a lanciare un modello di linguaggio di grandi dimensioni, ma i suoi modelli GPT-3, GPT-3.5 e GPT-4 hanno indubbiamente acceso la carta blu sull'IA generativa.
PaLM 2 di Google ha alcuni problemi da risolvere, ma il fatto che sia già in uso in diversi servizi Google dimostra la fiducia che l'azienda ha nel suo ultimo LLM.
