Un recente studio condotto dal Columbia Journalism Review, in collaborazione con il Tow Center for Digital Journalism, ha scoperte allarmanti riguardo l'affidabilità dei modelli di intelligenza artificiale utilizzati per la ricerca di notizie. Il sondaggio ha analizzato otto strumenti di ricerca basati su AI, svelando che più del 60% delle risposte sui contenuti informativi risultava errato. Queste scoperte pongono seri interrogativi sulla validità delle informazioni restituite da queste tecnologie, sempre più utilizzate dagli utenti di Internet.
Indice dei contenuti
L’uso crescente dell’intelligenza artificiale nella ricerca di notizie
Nel loro rapporto, i ricercatori Klaudia Jaźwińska e Aisvarya Chandrasekar hanno evidenziato che attualmente un quarto della popolazione americana si affida a modelli di intelligenza artificiale come alternativa ai tradizionali motori di ricerca. Questa tendenza è preoccupante, considerando l'elevata percentuale di errori rilevati nello studio. La dipendenza da questi strumenti può comportare la diffusione di informazioni imprecise e fuorvianti, aumentando i rischi associati all'affidabilità delle notizie.
Analizzando i dati, i ricercatori hanno riscontrato differenze significative nel tasso di errore tra le varie piattaforme testate. Perplexity, ad esempio, ha fornito risposte errate nel 37% dei casi, mentre ChatGPT Search ha mostrato un errore del 67% su 200 query. Il modello Grok 3 ha registrato il tasso di errore più elevato, arrivando a un impressionante 94%. Questi risultati mettono in luce l'inefficienza di alcuni modelli di ricerca, rendendo urgente una revisione dello sviluppo di queste tecnologie.
Come sono stati condotti i test
Per effettuare i test, i ricercatori hanno utilizzato estratti diretti da articoli di notizie reali, chiedendo a ciascun modello di identificare il titolo dell'articolo, il nome dell'editore originale, la data di pubblicazione e l'URL. Sono state effettuate ben 1.600 domande utilizzando gli otto strumenti di ricerca generativa. Questo approccio ha permesso di ottenere un’analisi più chiara e obiettiva delle prestazioni di ciascun sistema.
Un aspetto preoccupante emerso dallo studio è il comportamento riscontrato nei modelli. In molte occasioni, invece di ammettere di non possedere informazioni affidabili, i modelli tendevano a fornire risposte che, seppur plausibili, risultavano comunque errate o basate su congetture. Questa tendenza è stata osservata in tutti i modelli testati, evidenziando una problematica sistemica e non limitata a uno specifico strumento.
I risultati delle versioni premium
Sorprendentemente, anche le versioni premium di alcuni di questi strumenti di ricerca hanno mostrato risultati insoddisfacenti. Perplexity Pro, disponibile a 20 dollari al mese, e il servizio premium di Grok 3, a 40 dollari al mese, hanno fornito risposte errate con maggiore frequenza rispetto alle loro controparti gratuite. Sebbene questi modelli premium abbiano saputo rispondere correttamente a un numero maggiore di richieste, la loro riluttanza a rifiutare risposte incerte ha portato a tassi di errore complessivamente più elevati.
Problemi di citazione e controllo degli editori
Un’altra problematica emersa dallo studio riguarda il modo in cui alcuni strumenti di intelligenza artificiale gestiscono l’accesso ai contenuti. I ricercatori del CJR hanno scoperto che alcune piattaforme sembrano ignorare le impostazioni del Robot Exclusion Protocol che i giornalisti utilizzano per prevenire accessi non autorizzati. Ad esempio, la versione gratuita di Perplexity ha correttamente identificato tutti e dieci gli estratti provenienti da contenuti a pagamento di National Geographic, nonostante il fatto che National Geographic avesse esplicitamente vietato l'accesso ai crawler di Perplexity.
Con questi risultati, la questione dell'affidabilità delle informazioni fornite dagli strumenti di intelligenza artificiale si pone come un tema cruciale per il futuro del giornalismo e della comunicazione, sollecitando un maggiore rigore e controllo nei processi di sviluppo e utilizzo dell’AI nelle notizie.
