Uno studio rileva che i lettori valutano più positivamente le storie scritte dall’IA, ma si fidano ancora di più dell’etichetta “umana”.
Se pensate che sia facile riconoscere una scrittura generata dall'IA, un nuovo studio suggerisce che potreste sopravvalutare la vostra capacità di distinguerla. I ricercatori della Villanova University hanno scoperto che i lettori faticavano a distinguere le storie generate dall'IA da quelle scritte da esseri umani e spesso davano un voto più alto alle prime.
Lo studio, condotto dalla dottoressa Deena Skolnick Weisberg e pubblicato sulla rivista Judgment and Decision Making (tramite The Guardian ), ha chiesto a oltre 1.600 partecipanti di valutare, in termini di qualità e coinvolgimento, uno di sei racconti brevi, tre scritti da un essere umano e gli altri generati da ChatGPT . Ai partecipanti è stato comunicato chi avesse scritto il racconto, sebbene tale informazione non fosse sempre accurata.
Le storie sull'IA hanno ottenuto un punteggio più alto, ma l'etichetta "umana" ha comunque vinto punti.
I lettori che hanno letto una storia generata dall'IA l'hanno valutata come più avvincente e di qualità superiore rispetto ai lettori che hanno letto una storia scritta da un essere umano. Allo stesso tempo, le storie etichettate come scritte da un essere umano hanno ottenuto punteggi migliori rispetto a quelle etichettate come scritte dall'IA, indipendentemente da chi le avesse effettivamente scritte.
Weisberg afferma che i risultati dimostrano che l'intelligenza artificiale è diventata molto più capace di produrre narrativa leggibile e coinvolgente di quanto la maggior parte delle persone immagini. Ma questo non significa che gli autori umani siano diventati irrilevanti, ha aggiunto.
La maggior parte dei lettori non è riuscita a notare la differenza
In un test di follow-up, ai partecipanti è stata presentata una storia scritta da un essere umano e una scritta da un'intelligenza artificiale sullo stesso tema, con l'indicazione di quale fosse l'una e quale l'altra. In larga parte hanno fallito, indovinando correttamente solo con una frequenza pari a quella che si otterrebbe per puro caso. L'unico gruppo che ha ottenuto risultati nettamente migliori è stato quello delle persone che si sono definite più familiari con i sistemi di intelligenza artificiale, il che suggerisce che individuare la scrittura da parte di un'IA potrebbe essere un'abilità appresa piuttosto che un istinto.
Il Commonwealth Short Story Prize si è imbattuto esattamente in questo problema all'inizio di quest'anno , quando i lettori online hanno segnalato tre dei cinque racconti vincitori come generati dall'intelligenza artificiale, e uno strumento di rilevamento dell'IA ha confermato la loro ipotesi. L'editore del premio ha condotto un controllo separato, che però non ha fornito risultati conclusivi. Se giudici e lettori professionisti, la cui reputazione è in gioco, non riescono a risolvere la questione, aspettarsi che i lettori occasionali notino la differenza è chiedere troppo.