ChatGPT vs Claude AI: Claude AI è il chatbot migliore?

Dalla sua uscita nel novembre 2022, ChatGPT è rimasta la forza dominante nello spazio dei chatbot AI. Nonostante gli sforzi di vasta portata da parte di diverse società di intelligenza artificiale, nessuno è stato davvero in grado di costruire un chatbot che sfidi veramente ChatGPT in termini di qualità di risposta complessiva. Il Bardo di Google? L’intelligenza artificiale di Bing di Microsoft? No, non proprio.

Tuttavia, Claude AI, un chatbot creato dalla startup AI Anthropic, mostra le qualità di un chatbot in grado di detronizzare ChatGPT. Un numero considerevole di utenti afferma già che Claude è l'opzione migliore. Ma è proprio così? Facciamo un giro su entrambi i chatbot.

ChatGPT vs. Claude AI: buon senso e ragionamento logico

C'è un contrasto intrigante quando si lavora con i chatbot AI. Da un lato, possono sfrecciare attraverso compiti complessi per i quali gli esseri umani possono lavorare giorni per risolverli. D’altra parte, a volte sono alle prese con problemi elementari che richiedono solo un po’ di buon senso o di ragionamento logico. Quindi, abbiamo testato sia ChatGPT che Claude AI per vedere quale chatbot AI fosse migliore nelle attività di buon senso e ragionamento logico.

ChatGPT ha suddiviso il problema in più parti e lo ha risolto al primo tentativo. Anche Claude AI ci ha provato e ha risolto anche lui il problema, ma con un approccio diverso.

Per il primo compito, entrambi i chatbot sono riusciti a risolvere il problema. Quindi siamo passati a un diverso tipo di problema. Abbiamo incaricato entrambi i chatbot di rispondere a una domanda trabocchetto.

ChatGPT è stato in grado di individuare immediatamente il trucco: non puoi seppellire i sopravvissuti perché non sono morti. Claude AI, d'altra parte, sembrava capire che si trattava di una domanda trabocchetto, ma non riuscì a individuare il problema più banale secondo cui non si seppelliscono i sopravvissuti.

Invece, analizzò eccessivamente la questione e giunse alla conclusione che non ci sarebbero stati “nessun sopravvissuto da seppellire” perché lo schianto da Marte alla Terra sarebbe fatale. Non è la risposta che ci aspettavamo, ma se si guarda alle cose da una prospettiva diversa, qualcosa di vero c’è.

Per questo compito lo affidiamo a ChatGPT, ma non possiamo escludere del tutto l'approccio di Claude AI. Per il nostro compito finale su questa metrica, abbiamo chiesto a entrambi i chatbot quante mele sarebbero rimaste su un melo dopo rispettivamente cinque e 10 giorni se abbiamo iniziato con 10 mele e cinque di queste sono state tagliate mentre erano ancora sull'albero. ChatGPT ha detto che sarebbero rimaste ancora 10 mele.

Claude AI, d'altro canto, ha dato una risposta più dettata dal buon senso, riconoscendo che le cinque mele affettate rischiano di marcire.

Claude AI ha chiaramente capito questo. Abbiamo provato alcuni problemi più complicati ed entrambi i chatbot hanno avuto una buona dose di successi e fallimenti nell'affrontarli. Considerando il risultato che abbiamo osservato, potrebbe essere giusto dire che, sebbene ChatGPT abbia un vantaggio, entrambi i chatbot non sono troppo distanti in termini di buon senso e capacità di ragionamento logico.

ChatGPT vs. Claude AI: Abilità matematiche

Anche se non prevedi mai di utilizzare ChatGPT o Claude AI per risolvere i tuoi compiti di Algebra, le loro capacità matematiche hanno implicazioni di vasta portata. Per i chatbot basati sull’intelligenza artificiale, la matematica è la chiave per comprendere la logica del mondo reale, identificare i pensieri errati e ammettere gli errori.

In sostanza, la competenza in matematica è una metrica fondamentale dell’intelligenza artificiale. Quindi, tra ChatGPT e Claude AI, quale chatbot è più abile in matematica? Abbiamo incaricato entrambi i chatbot di risolvere un tortuoso problema di produttività matematica. Abbiamo iniziato con Claude AI e il chatbot ha risolto il problema.

Anche ChatGPT ha risolto il problema.

Andando avanti, abbiamo chiesto a entrambi i chatbot di risolvere 8/a-1 = 20/3a-1, un problema di matematica abbastanza semplice con un tasso di fallimento sorprendentemente alto tra i chatbot IA. ChatGPT è riuscita a risolverlo, fornendo una risposta corretta di -3 al primo tentativo.

Claude AI ha fallito al primo tentativo, ma quando gli abbiamo chiesto di risolvere il problema passo dopo passo (il che lo costringe a riflettere su ogni passaggio della sua logica) è riuscito a risolverlo.

Abbiamo provato qualche altro problema di matematica. Sebbene in alcuni casi entrambi i chatbot abbiano funzionato correttamente al primo tentativo, in diversi casi Claude AI ha avuto bisogno di un secondo o terzo tentativo per fornire la risposta giusta. In termini di abilità matematiche, la corona la daremo a ChatGPT.

ChatGPT vs. Claude AI: Creatività

Uno dei più grandi successi di Claude AI sono le sue capacità creative. Ma può eguagliare la creatività di ChatGPT? Oppure potrebbe forse superare ChatGPT? Per mettere alla prova entrambi i chatbot, abbiamo incaricato loro di scrivere il testo di una canzone rap che fa rima.

Abbiamo scelto un test rap in rima perché è qualcosa con cui molti modelli linguistici lottano. La maggior parte dei modelli in genere non capisce la rima giusta o la fa bene mentre il testo in sé non ha senso. Per rendere le cose più interessanti, la canzone rap parlerà della coltivazione dei cetrioli.

Quindi, abbiamo chiesto sia a ChatGPT che a Claude AI di "scrivere un rap in rima sulla coltivazione dei cetrioli come agricoltore". e diventare milionario." ChatGPT è partito per primo e, come previsto, ha prodotto risultati entusiasmanti Testi.

Abbiamo quindi dato lo stesso suggerimento a Claude AI, e anche questo ha dato una buona possibilità.

Entrambi i testi sono buoni, ma ChatGPT sembrava avere un vantaggio qui. Aveva una rima migliore e abbiamo ottenuto il risultato di cui avevamo bisogno al primo tentativo. Abbiamo dovuto provare tre volte prima che Claude AI potesse produrre testi in rima. Lo daremo a ChatGPT.

Dopo aver provato alcuni compiti più creativi, Claude AI sembrava eccellere nei compiti legati alla scrittura ed era in grado di scrivere contenuti dal suono più naturale come farebbe uno scrittore umano. Sebbene ChatGPT era migliore nel superare compiti creativi più complessi, a volte non riusciva a scrollarsi di dosso quella sensazione di chatbot AI nel testo che generava. Il nostro verdetto? Sia ChatGPT che Claude AI sono creativi di per sé.

ChatGPT vs. Claude AI: abilità di codifica

Proprio come le abilità matematiche, le abilità di programmazione sono un altro parametro molto importante per giudicare le capacità di un chatbot AI. Mentre la maggior parte degli utenti probabilmente non lo farà mai utilizzare un chatbot per la codifica, ci sono implicazioni di fondo significative per le capacità di un chatbot di scrivere e comprendere il codice in modo competente.

Sebbene i chatbot siano attualmente sofisticati, sono lontani da ciò che potrebbero effettivamente diventare se e quando saranno in grado di scrivere codice in modo competente. Affinché i chatbot IA possano evolversi davvero in potenti assistenti IA in grado di fare molto di più che generare testo, devono essere in grado di scrivere codice che risolva i problemi su richiesta. Abbiamo già discusso di quanto siano importanti le competenze di codifica per i chatbot AI nel nostro Spiegatore dell'interprete del codice ChatGPT.

Detto questo, abbiamo assegnato entrambi i chatbot a due attività di codifica. Abbiamo chiesto a ChatGPT e Claude AI di scrivere il codice funzionale per un'app per l'elenco delle cose da fare. A partire da ChatGPT, il chatbot AI è stato in grado di fornire un'app funzionale per l'elenco delle cose da fare al primo tentativo. L'abbiamo copiato e incollato e l'abbiamo eseguito su un browser e ha funzionato perfettamente senza errori. Ecco l'output su un browser.

Passando a Claude AI, il chatbot ha scritto un codice chiaramente comprensibile. La struttura e la logica sembravano tutte a posto. Sfortunatamente, nonostante i ripetuti tentativi, Claude AI continuava a perdere alcune logiche critiche per far sì che il codice venisse effettivamente eseguito su un browser. È un fallimento su questo.

Dopo che Claude AI ha fallito l'ultimo test, abbiamo provato un diverso tipo di attività di codifica, che riguardava più l'analisi del codice e meno la scrittura di nuovo codice. Abbiamo caricato cinque file PHP che rappresentano il backend completo per un sito Web e abbiamo chiesto sia a Claude AI che a ChatGPT dove dovremmo modificare tutti i file caricati per assicurarci di ricevere un'e-mail una volta che un nuovo utente si registra su luogo.

Sorprendentemente, ChatGPT, nonostante apparentemente avesse capacità di codifica superiori, non è riuscito a farlo nonostante i ripetuti tentativi. Claude AI, d'altra parte, è stato in grado di analizzare il codice in modo competente identificando i punti giusti che dovevano essere modificati per ottenere i risultati desiderati.

Naturalmente, questo non è stato un caso isolato, lo abbiamo ripetuto con molti altri file di codice, ma ChatGPT ha inciampato e si è bloccato nella maggior parte dei casi mentre Claude AI ha continuato a fornire risultati impressionanti. In termini di capacità di codifica, il vincitore non è del tutto semplice.

ChatGPT è chiaramente significativamente migliore nello scrivere nuovo codice e può gestire codice complesso con una competenza impressionante. Tuttavia, Claude AI è significativamente migliore nell'analizzare basi di codice di grandi dimensioni. Quindi, se stai cercando di scrivere codice per qualche nuova idea che hai, ChatGPT è lo strumento a cui rivolgerti. Se vuoi analizzare o dare un senso a una base di codice con migliaia di righe su più file, allora consigliamo vivamente Claude AI.

Claude AI è un potente concorrente sul blocco

Claude AI rappresenta un potente concorrente per ChatGPT, che un giorno potrà competere e potenzialmente superare ChatGPT. Dato che Claude è un modello di intelligenza artificiale relativamente nuovo, è invidiabile che possa affrontare ChatGPT come fa attualmente. L'emergere di Claude AI e la qualità che offre dimostrano che la concorrenza si sta surriscaldando.