4 esempi che dimostrano che non puoi fidarti di ZeroGPT e di altri strumenti di rilevamento AI

I chatbot AI sono senza dubbio strumenti potenti e utili. Tuttavia, la capacità di distinguere tra contenuti generati dall'uomo e generati dall'intelligenza artificiale sta diventando un problema importante.

Per risolvere questo problema, sono emersi strumenti come ZeroGPT. Questi sono progettati per distinguere tra intelligenza artificiale e contenuti generati dall'uomo. Ma funzionano?

Diamo un'occhiata più da vicino agli strumenti di rilevamento AI e vediamo se sono in grado di distinguere tra testo umano e testo generato dall'IA.

Dicono che la prova del budino sta nel mangiarlo. Quindi, proviamo alcuni test e vediamo quanto sono efficaci questi strumenti. È impossibile testare ogni strumento, quindi stiamo testando uno degli strumenti più popolari: ZeroGPT.

Per il materiale, abbiamo pensato che sarebbe stato abbastanza divertente dare a ChatGPT una possibilità di scrivere un'introduzione per questo articolo e poi confrontarla con l'introduzione "generata dall'uomo":

Test uno: confronto tra un'introduzione all'articolo umana e quella generata dall'intelligenza artificiale

La prima cosa che abbiamo fatto è stata convincere ChatGPT a generare un'introduzione. Abbiamo inserito il titolo e non abbiamo fornito ulteriori informazioni. Per la cronaca, abbiamo utilizzato GPT-3.5 per il test.

Abbiamo quindi copiato il testo e incollato in ZeroGPT. Come puoi vedere, i risultati sono stati tutt'altro che stellari.

Un inizio poco appariscente, ma che illustra quanto siano efficaci i chatbot AI. Per completare il test, abbiamo lasciato che ZeroGPT analizzasse una bozza introduttiva creata dall'uomo.

Almeno ha corretto questa parte. Nel complesso, ZeroGPT ha fallito in questo round. Ha determinato che almeno una parte dell'introduzione generata dall'intelligenza artificiale era sospetta, ma non è riuscita a evidenziare problemi specifici.

Test due: il problema del falso positivo

Man mano che cresce l'uso di ChatGPT e di altri strumenti di intelligenza artificiale, aumenta la probabilità di sapere o sentire parlare di qualcuno che si trova di fronte ad affermazioni secondo cui il proprio lavoro è stato generato dall'IA. Queste accuse sono uno dei problemi più gravi con ChatGPT e strumenti di rilevamento AI come ZeroGPT, poiché questo tipo di errore può danneggiare la reputazione e influire sui mezzi di sussistenza.

I falsi positivi si verificano quando i contenuti generati dall'uomo vengono erroneamente contrassegnati come opera dell'intelligenza artificiale. Come mostra l'esempio seguente, il problema è facilmente replicabile. Sono un appassionato pescatore, quindi ho deciso di scrivere un'introduzione a un articolo immaginario sulla pesca in Florida. Ho quindi lasciato che ZeroGPT analizzasse il testo: ha segnalato che il testo era generato al 100% dall'intelligenza artificiale.

Ad essere onesti, puntavo a questo risultato. Ho mantenuto il testo generico e ho usato un linguaggio "venditoriale". Ma il punto che un essere umano ha scritto questo rimane altrettanto valido. Questo non è un inconveniente o qualcosa che può essere semplicemente scrollato di dosso. Errori come questo possono avere gravi conseguenze per scrittori, studenti e altri professionisti che creano opere scritte.

Test tre: testare ZeroGPT sulla narrativa

Per il terzo test, useremo ChatGPT e gli chiederemo di scrivere un po' di narrativa. Per fare ciò, abbiamo creato uno scenario e chiesto a ChatGPT di scrivere una breve introduzione a una storia di fantasia.

L'abbiamo mantenuto semplice e abbiamo appena chiesto di scrivere un'introduzione per una storia su due sconosciuti che si incontrano su una piattaforma ferroviaria:

Ed ecco la risposta di ZeroGPT:

Come risulta evidente dal risultato, ZeroGPT non è in grado di distinguere i fatti dalla finzione quando si tratta di finzione!

Test quattro: articoli di notizie

C'è qualcosa di inquietante nel fatto che l'IA sia in grado di informarci su ciò che sta accadendo nel mondo intorno a noi. Non si tratta sempre necessariamente di "notizie false", in quanto possono essere pertinenti e informative, ma ci sono precise preoccupazioni etiche sull'intelligenza artificiale.

Per essere onesti con ZeroGPT, ha funzionato bene in questo test. Abbiamo chiesto a ChatGPT e Bing Chat di scrivere articoli di notizie su diversi argomenti e ZeroGPT ci è riuscito ogni volta. L'esempio seguente mostra come dichiarare correttamente un articolo generato da Bing Chat come generato al 100% da AI.

Lo strumento ha contrassegnato così costantemente ogni articolo di notizie come generato dall'intelligenza artificiale che abbiamo deciso di testarlo su un articolo di notizie fittizio che abbiamo scritto per lo scopo.

Almeno ha identificato alcuni degli articoli come generati dall'uomo, ma ha segnalato oltre il 70% come generato dall'intelligenza artificiale. Ancora una volta, dobbiamo essere onesti qui; questo era un rehash abbastanza semplice dell'articolo di Bing e non era certo la qualità del Premio Pulitzer.

Ma il punto rimane valido. Questo è stato scritto da un essere umano utilizzando una ricerca trovata su Internet.

Non c'è un unico motivo dietro i difetti di strumenti come ZeroGPT. Tuttavia, un problema fondamentale è l'efficacia dei chatbot di intelligenza artificiale generativa. Questi rappresentano una tecnologia incredibilmente potente e in rapida evoluzione che li rende effettivamente un bersaglio mobile per gli strumenti di rilevamento AI.

I chatbot AI migliorano continuamente la qualità e l'"umanità" del loro output, e questo rende il compito estremamente impegnativo. Tuttavia, indipendentemente dalle difficoltà, il lato AI dell'equazione deve esprimere un giudizio senza la supervisione umana.

Strumenti come ZeroGPT utilizzano l'intelligenza artificiale per prendere le loro decisioni. Ma l'IA non si sveglia solo la mattina e sa cosa fare. Deve essere addestrato, ed è qui che il lato tecnico dell'equazione diventa rilevante.

I bias algoritmici e dei dati di addestramento sono inevitabili, considerando la vastità del file modelli linguistici di grandi dimensioni su cui vengono addestrati questi strumenti. Questo non è un problema limitato agli strumenti di rilevamento AI, gli stessi pregiudizi possono causare la generazione di chatbot AI risposte errate e allucinazioni AI.

Tuttavia, questi errori si manifestano come "flag AI" errati negli strumenti di rilevamento. Questo non è certo l'ideale, ma è un riflesso dello stato attuale della tecnologia AI. I pregiudizi inerenti ai dati di addestramento possono portare a falsi positivi o falsi negativi.

Un altro fattore che deve essere considerato è ciò che costituisce il contenuto generato dall'intelligenza artificiale. Se il contenuto generato dall'intelligenza artificiale viene semplicemente riformulato, si tratta di contenuto umano o generato dall'intelligenza artificiale? Ciò rappresenta un'altra grande sfida: l'offuscamento dei confini tra i due rende quasi impossibile definire il contenuto creato dalla macchina.

Guardando al futuro del rilevamento AI

Potrebbe sembrare che stiamo bussando a strumenti come ZeroGPT. Questo non è il caso; affrontano enormi sfide e la tecnologia ha appena finito i pannolini. La rapida diffusione di strumenti come ChatGPT ha creato una domanda di rilevamento dell'intelligenza artificiale e la tecnologia dovrebbe avere la possibilità di maturare e apprendere.

Non ci si può aspettare che questi strumenti affrontino da soli le sfide poste dai chatbot. Ma possono svolgere un ruolo prezioso in uno sforzo concertato e sfaccettato per affrontare le sfide dell'IA. Rappresentano un pezzo di un puzzle più ampio che include pratiche etiche di intelligenza artificiale, supervisione umana e ricerca e sviluppo in corso.

Le sfide che questi strumenti devono affrontare sono immagini speculari delle sfide che la società deve affrontare mentre affrontiamo i dilemmi associati a una nuova era tecnologica.

IA o non IA? Questa è la domanda

Strumenti come ZeroGPT sono imperfetti, su questo non c'è dubbio. Ma non sono inutili e rappresentano un passo importante mentre cerchiamo di gestire e regolamentare l'IA. La loro precisione migliorerà, ma anche la sofisticatezza dell'intelligenza artificiale che sono addestrati a rilevare. Da qualche parte nel mezzo di questa corsa agli armamenti, dobbiamo trovare un equilibrio con cui la società sia a suo agio.

La domanda: IA o non IA? È più di una semplice discussione sul fatto che qualcosa sia generato o meno dall'intelligenza artificiale. È indicativo delle domande più ampie che la società deve affrontare mentre ci adattiamo al nuovo e coraggioso mondo dell'IA.

Per la cronaca, e secondo ZeroGPT, il 27,21% di questa conclusione è stato generato dall'intelligenza artificiale. Hmm.