Spirit AI e la competizione globale per l’intelligenza artificiale fisica

Un modello cinese in testa, ma contestato per manipolazione

La startup cinese Spirit AI, fondata a Hangzhou nel 2024, ha ottenuto un risultato inaspettato nel ranking globale RoboArena, un benchmark per l’intelligenza artificiale fisica. Il modello Spirit v1.6, lanciato a inizio giugno, ha raggiunto la prima posizione, superando il gigante tecnologico USA Nvidia. Tuttavia, la vittoria è stata contestata per possibili manipolazioni del sistema di valutazione.

Un sistema di valutazione vulnerabile

RoboArena, sviluppato in collaborazione con Nvidia e istituzioni come Stanford e Berkeley, valuta l’efficacia delle politiche robotiche generali. Il sistema permetteva a qualsiasi utente di registrarsi come valutatore e confrontare due modelli casuali. Questo ha reso il sistema suscettibile a manipolazioni, come ha sottolineato un blog cinese. La valutazione di Spirit v1.6 ha mostrato un’alta percentuale di successo, ma solo grazie a un account ECUST. Secondo un’analisi, il modello Spirit v1.6 aveva il 99% di successo grazie a un account ECUST, mentre i valutatori indipendenti ne registravano solo il 66%. Molti modelli, tra cui quelli di X Square Robot e Allen Institute for AI, sono stati rimossi dal ranking per insufficienti dati. La piattaforma ha poi aggiornato le regole, richiedendo almeno 100 valutazioni verificate.

La manipolazione potrebbe influire non solo sul ranking, ma anche sulla fiducia nel sistema di valutazione globale. La controversia ha messo in luce le sfide nell’creare un framework affidabile per l’intelligenza artificiale fisica. Spirit AI ha affermato di essere in contatto con i creatori di RoboArena e che la sua assenza dal ranking ufficiale dipendesse da requisiti di campionamento non soddisfatti. Tuttavia, il modello DreamZero di Nvidia ha ripreso la leadership, mentre altri modelli sono scomparsi.

La situazione evidenzia la competizione globale tra USA e Cina per il controllo dell’intelligenza artificiale fisica, con implicazioni significative per il futuro delle tecnologie robotiche. La questione rimane aperta, con le aziende e i ricercatori che cercano metodi più robusti per valutare l’efficacia dei modelli. La manipolazione, se confermata, potrebbe influenzare non solo il ranking, ma anche la fiducia nel sistema di valutazione globale. La questione rimane dibattuta, con le istituzioni e i ricercatori che cercano soluzioni per garantire una valutazione equa e trasparente. La rimozione dei modelli e l’aggiornamento delle regole di RoboArena segnano un passo verso una maggiore trasparenza, ma non risolvono completamente i problemi di manipolazione. La piattaforma ha introdotto un leaderboard ufficiale che richiede un numero minimo di valutazioni verificate, ma alcuni modelli, come Spirit v1.6, sono ancora presenti in una classifica non ufficiale. La competizione tra le aziende e i ricercatori continua, con un’attenzione crescente sulle metodologie di valutazione e sulla loro affidabilità.