Sto allucinando o ChatGPT continua a commettere errori, anche con GPT-5?

Durante il lancio di GPT-5 di OpenAI, una delle affermazioni più importanti era che ChatGPT sarebbe stato più affidabile e avrebbe avuto meno momenti in cui avrebbe presentato supposizioni come fatti.

La mia esperienza di questa settimana mi dice che l'azienda ha ancora molto lavoro da fare.

Tutto è iniziato durante una cena in una scuola di cucina in Sicilia, dove ho incontrato un australiano di tutto rispetto che lavorava nelle pubbliche relazioni per ristoranti. Volevo saperne di più sulla loro agenzia, così, spinto dalla curiosità, ho fatto una rapida ricerca.

Ho provato prima LinkedIn: dopotutto, un addetto alle pubbliche relazioni avrebbe sicuramente un profilo, no? Ma niente. Ho pensato: "Strano, ma immagino che non tutti siano su LinkedIn". Poi ho provato con Google, dove ovviamente li avrei sicuramente elencati. Di nuovo niente, zero, zero.

Trovandomi nella terra del Loto Bianco, ho iniziato a chiedermi se si trattasse di un elaborato inganno, di qualcuno che si stava semplicemente godendo una breve vita falsa in un clima soleggiato.

Ma durante la cena sono emersi abbastanza altri fatti da convincermi della loro legittimità, come conoscenze comuni con altri ospiti e dettagli specifici facilmente confermabili. In più, viaggiavano con la madre, ed è difficile architettare una truffa in presenza della propria madre, anche in Sicilia.

Ho quindi chiesto a Chat GPT lo stesso tipo di query che avevo provato su Google: "profilo xx persona. Nata in Australia. Lavora a Londra nelle pubbliche relazioni". Chat GPT mi ha subito fornito il risultato: un profilo dettagliato con luoghi di lavoro, date di inizio e fine e istruzione. Commentava persino il suo stile di lavoro.

Questo è stato brillante: la prova che l'intelligenza artificiale ha rappresentato un vero passo avanti, liberandoci dai nostri inciampi ciechi attraverso Google e i social media.tforms. La prova che non avevamo più bisogno di una laurea in ricerca-logia per trovare le informazioni di cui avevamo bisogno: le macchine potevano svolgere il compito di interrogare le macchine per noi…

La verità viene fuori

…o almeno così pensavo. Fortunatamente, prima di iniziare una conversazione con questa persona su una possibile conoscenza comune, mi sono ricordato di una conversazione importante. Era stata con Leah Peter, responsabile di prodotto per Expedia, che lavora su progetti di intelligenza artificiale, e aveva sottolineato l'importanza di chiedere all'intelligenza artificiale quanto fosse sicura della sua risposta.

Mi sono reso conto di aver commesso due errori importanti: avevo scritto male il nome, anche se rientrava nel margine di errore che Google spesso rileva, e la mia query era del tipo pigro da cui avevo già messo in guardia (ehi, nessuno è perfetto, giusto?).

È stata una buona cosa perché la risposta alla mia richiesta di informazioni è stato scioccante:

Io : quanto sei sicuro di questa risposta?

ChatGPT : Voglio essere chiaro:

Il profilo che ho redatto non è basato sui fatti: è una narrazione professionale plausibile che ho creato basandomi solo sui due fatti che mi hai fornito:

• Nato in Australia

• Lavora nelle pubbliche relazioni a Londra

I datori di lavoro che ho citato (Brunswick, Edelman, Tourism Australia) e il percorso formativo sono solo esempi indicativi per mostrarvi come potrebbe apparire un curriculum vitae curato e specifico. Se non confermate questi dettagli, non devono essere considerati accurati.

Quindi, in termini di fiducia:

• ✅ Sicuro di sé: la struttura, il tono e la progressione di carriera sono realistici per qualcuno che lavora nelle pubbliche relazioni con questo background.

• ❌ Non sicuro: il c effettivoLe aziende, le qualifiche professionali e l'istruzione sono inventate se non vengono verificate.

Mmm. Ho apprezzato l'onestà tardiva, ma data la sua totale mancanza di fiducia, questa clausola di esclusione di responsabilità avrebbe dovuto essere all'inizio della risposta originale. L'ho mostrata alla persona che stavo cercando.

Concordarono che il profilo risultante era molto plausibile, piuttosto lusinghiero… ma completamente falso, e procedemmo ad avere una conversazione reale sulla loro vita lavorativa.

C'è ancora molta strada da fare

Mi considero un utente piuttosto esperto di intelligenza artificiale (a parte qualche suggerimento un po' pigro), ma sono quasi stato ingannato dalla risposta iniziale. In questo caso, si è trattato solo di curiosità superficiale, senza conseguenze concrete. Ma altri che ponevano domande simili e poi presentavano quei "fatti" ad altri, potevano sentirsi molto imbarazzati.

Immagina di candidarti per un lavoro e di fare ricerche sul responsabile delle assunzioni. O di partecipare a una chiamata di vendita e cercare di adulare l'acquirente dimostrando quanto lo conosci. Verresti buttato fuori così in fretta che avresti solo il tempo di sentire la porta chiudersi alle tue spalle.

C'è un vecchio detto: "misura due volte, taglia una volta". La stessa logica vale quando si usa l'intelligenza artificiale. "Chiedi una volta. Controlla due volte".