La recente analisi condotta da John Gruber, commentatore di tecnologia, ha sollevato interrogativi sull’efficacia di Siri, l'assistente virtuale di Apple. Partendo da un episodio specifico, in cui Siri ha faticato a identificare il vincitore del Super Bowl 13, Gruber ha messo in evidenza come le risposte dell'assistente vocale siano inadeguate e, talvolta, sconclusionate. Questo articolo esplora i risultati di un test approfondito che analizza le capacità di Siri da un punto di vista critico e offre una comparazione con altri assistenti AI.
Indice dei contenuti
Il test sui Super Bowl: risultati piuttosto deludenti
Il test effettuato da Paul Kafasis ha coinvolto una verifica delle risposte di Siri riguardo ai vincitori dei 58 Super Bowl, dal primo fino all'ultimo. I risultati sono stati a dir poco sconfortanti. Solo il 34% delle risposte fornite sono risultate corrette, ovvero solo 20 identificazioni corrette su 58 domande. Per contestualizzare, se Siri fosse un quarterback, probabilmente sarebbe escluso dalla NFL per scarse performance.
Siri ha dimostrato di avere alcune punte positive nel passato, avendo azzeccato quattro vincitori consecutivi solo nel caso in cui le risposte, seppur corrette, fossero state attribuite a motivazioni errate. Tuttavia, la situazione si complica ulteriormente: in più occasioni, Siri è riuscita a dire tre volte di fila il nome corretto dei vincitori, tra cui Super Bowls V attraverso VII e LVII attraverso LIX. Ma ciò che sorprende è il picco negativo in cui ha collezionato ben 15 risposte incorrette in sequenza.
Le curiosità sulle risposte di Siri
La situazione si fa ancor più curiosa se si considera che Siri ha attribuito non meno di 33 vittorie ai Philadelphia Eagles, ben al di sopra di quelle reali che sono solo una. Un’altra anomalia si è verificata con la risposta riguardante il Super Bowl X, dove Siri ha fornito dettagli sul risultato del Super Bowl IX, accennando solamente al vincitore senza scendere nei dettagli. È singolare notare come, in taluni momenti, Siri ignori del tutto la domanda, rispondendo con informazioni estranee prelevate da Wikipedia.
Comparazione con altri assistenti virtuali
La performance di Siri è stata messa a confronto con quella di altri assistenti virtuali come ChatGPT, Kagi, DuckDuckGo e Google. Gruber ha effettivamente condotto un esame su alcune domande scelte a caso, scoprendo che gli altri sistemi di AI riescono a fornire risposte molto più accurate e pertinenti. Per esempio, quando interrogato riguardo al vincitore del Super Bowl 59, Kagi ha chiarito che il gioco si svolgerà il 9 febbraio 2025 e che non ci sono vincitori da riportare. Questa attendibilità non è una novità per argomenti come le vincite dei Super Bowl, che dovrebbero essere facilmente accessibili.
Diversi test hanno dimostrato che gli assistenti alternativi superano di gran lunga Siri, anche su domande ambigue. Gruber si è trovato a sperimentare con richieste che coinvolgevano eventi storici estremamente specifici, ottenendo comunque risposte corrette da ChatGPT e Kagi. È un dato interessante che mette in discussione la presunta superiorità di Siri rispetto ai suoi concorrenti.
L'inefficienza della nuova versione di Siri
Le recenti versioni di Siri integrate con Apple Intelligence™ e ChatGPT presentano un problema significativo, risultando talvolta completamente errate, e ciò si traduce in risposte diverse ogni volta che viene posta la stessa domanda. In un confronto diretto, Gruber ha notato come la vecchia versione di Siri su macOS 15.1.1 fornisse link verso le fonti corrette, mentre le risposte della nuova versione mancano di coerenza e affidabilità.
In sintesi, le difficoltà di Siri nel fornire risposte corrette non solo evidenziano le sue attuali limitazioni, ma pongono interrogativi sul suo sviluppo futuro e sulla competizione con altri assistenti virtuali, che sembrano progredire più rapidamente e con risultati decisamente superiori.
