Sono disponibili molti chatbot basati sull’intelligenza artificiale, ma quale utilizza il miglior LLM? Ecco come confrontare i LLM per capire quale è il migliore.
Con diversi chatbot disponibili online, può diventare estremamente difficile selezionare quello che soddisfa le tue esigenze. Anche se puoi confrontare manualmente due chatbot qualsiasi, ci vorrà molto tempo e impegno.
Un modo migliore e più semplice è utilizzare Chatbot Arena per confrontare i diversi LLM che alimentano i chatbot più diffusi. Offre un paio di modalità per confrontare i vari modelli, che spieghiamo di seguito.
Cos'è Chatbot Arena?
Creata da LMSYS Org, Chatbot Arena è una piattaforma per confrontare vari LLM. Utilizza il sistema Elo Rating per classificare i vari modelli.
Chatbot Arena offre agli utenti un paio di modi per confrontare e valutare i LLM. Sulla base del feedback inviato, Chatbot Arena classifica i diversi LLM nella classifica pubblica. Il progetto è patrocinato da HuggingFace, un'alternativa open source a ChatGPT.
Come confrontare i LLM anonimi con Chatbot Arena
La modalità battaglia di Chatbot Arena ti consente di confrontare LLM in modo anonimo. Ad esempio, puoi confronta ChatGPT (GPT 3.5) e Claude. Ciò significa che Chatbot Arena stessa seleziona due modelli linguistici qualsiasi e, senza rivelarne i nomi, ti consente di confrontarli.
Quando inserisci il primo prompt, Chatbot Arena recupera le risposte da entrambi i modelli, presentandoli fianco a fianco. La piattaforma ti consente di rigenerare le risposte (per entrambi i LLM) e cancellare la cronologia per avviare una conversazione diversa. Puoi continuare a fare più domande finché non avrai selezionato un chiaro vincitore.
Quindi puoi scegliere se è migliore il modello A o B. Selezionando il vincitore, Chatbot Arena rivela i nomi di entrambi i robot. Questa modalità funziona alla grande poiché la tua decisione non è influenzata dalla tua precedente percezione o popolarità dei modelli. Chatbot Arena ti consente anche di regolare parametri come temperatura, P superiore e token di output massimo.
Come confrontare LLM selezionati con Chatbot Arena
Se desideri confrontare due LLM specifici, puoi passare alla modalità affiancata di Chatbot Arena. A parte il fatto che puoi scegliere tu stesso gli LLM, questa modalità funziona quasi allo stesso modo della modalità battaglia. Puoi regolare i parametri, rigenerare le risposte, cancellare la cronologia e selezionare un vincitore alla fine.
Tuttavia, il numero di LLM disponibili in questa modalità è limitato. Puoi selezionare diverse versioni di Llama 2, Vicuna e ChatGLM. Sebbene i popolari LLM, come GPT-4, GPT-3.5, Claude 1, Claude 2, ecc., non siano attualmente disponibili in questa modalità, Chatbot Arena prevede di aggiungerli.
Confronta LLM utilizzando Chatbot Arena
Che tu stia cercando un chatbot adatto alle tue esigenze o desideri semplicemente testare diversi LLM, Chatbot Arena è un'ottima piattaforma.
Fornisce un modo semplificato per confrontare diversi modelli linguistici fianco a fianco. E poiché mantiene una classifica basata sul feedback degli utenti, puoi visualizzare direttamente le classifiche dei vari modelli senza eseguire tu stesso i test.
