Il paradosso dei Chatbot

Più i modelli linguistici crescono e accumulano esperienza, maggiore è il rischio che rispondano in modo errato piuttosto che ammettere di non saper rispondere. Questo è uno dei grandi problemi dei grandi modelli linguistici che alimentano i chatbot, come ChatGPT e Llama.

A dirlo è uno studio pubblicato sulla rivista Nature da José Hernández-Orallo, dell’Istituto di ricerca per l’Intelligenza Artificiale di Valencia in Spagna, che sottolinea inoltre come questi errori sfuggano facilmente agli umani. Una delle caratteristiche importanti dei grandi modelli linguistici o LLM è la capacità di evolvere nel tempo, integrando al loro interno nuove informazioni dalle interazioni con utenti o sviluppatori, per diventare teoricamente sempre più affidabili. Ma analizzando questo percorso in tre degli LLM più popolari – in particolare ChatGPT di OpenAI, Llama di Meta e il modello open-source Bloom – i ricercatori spagnoli hanno osservato un cambiamento nel loro comportamento.

Secondo gli autori, i tre modelli inizialmente erano più propensi ad ammettere di non poter rispondere a domande su questioni incerte. Questa prudenza è andata gradualmente svanendo: i modelli “ingranditi” e modellati tendono oggi a fornire risposte apparentemente sensate, ma molto più spesso errate rispetto al passato.

I chatbot “stanno diventando più bravi a fingere di essere informati”, ha commentato Hernández-Orallo. Un problema che si aggiunge all’incapacità degli utenti umani di riconoscere questi errori, spesso perché si fida automaticamente della macchina.

Il problema potrebbe essere parzialmente risolto impostando nei LLM una soglia di affidabilità più alta, al di sotto della quale l’IA non rilascia risposte. Questa soluzione è applicabile ai chatbot progettati per settori specifici, come quello medico, ma più complessa per i chatbot generalisti che devono rispondere su molti argomenti e per i quali le aziende puntano sulla capacità di rispondere in settori molto ampi.