Terminal-Bench-Science: Un benchmark per valutare le capacità scientifiche degli agenti AI
Un benchmark per valutare le capacità scientifiche degli agenti AI, con dati su 70 task e modelli come Claude Opus 5 e GPT-5.6 Sol.
Terminal-Bench-Science, un nuovo benchmark per valutare le capacità scientifiche degli agenti AI, ha visto la sua prima versione, 0.1, lanciata con un set di 70 task curati da esperti di diversi settori scientifici. Il benchmark, sviluppato da ricercatori del Stanford University e costruito in collaborazione con esperti di varie discipline, mira a fornire un’evaluazione rigorosa delle capacità degli agenti AI nel contesto della ricerca scientifica. I modelli più performanti, come Claude Opus 5 e GPT-5.6 Sol, hanno raggiunto risoluzioni comprese tra il 30% e il 22.4%, dimostrando un progresso significativo rispetto a benchmark precedenti.
Un benchmark costruito con la collaborazione della comunità scientifica
Terminal-Bench-Science è stato sviluppato attraverso un processo aperto, con la partecipazione di ricercatori da diversi paesi. I task sono stati proposti, discussi e approvati da esperti del settore, garantendo che siano scientificamente validi e sfidanti per gli agenti AI. Il processo ha visto l’approvazione di 464 proposte su 920 iniziali, con solo 70 task selezionati per la versione 0.1. Questo processo di selezione riflette la difficoltà di creare task che siano interessanti, sfidanti e ben specificati per una valutazione rigorosa.
Il benchmark è stato reso possibile grazie al supporto di diverse istituzioni e aziende, tra cui il Laude Institute, Snorkel AI e la 2077AI Open Source Foundation. L’obiettivo finale è creare un’infrastruttura aperta e collaborativa per valutare e migliorare le capacità scientifiche degli agenti AI, permettendo ai ricercatori di definire e misurare le competenze necessarie per accelerare la scoperta scientifica.
La selezione dei task ha richiesto un processo rigoroso e collaborativo.
Le prestazioni dei modelli più avanzati
La versione 0.1 del benchmark ha visto la partecipazione di diversi modelli AI, tra cui Claude Opus 5, GPT-5.6 Sol, Grok 4.6 e Kimi K3. Il modello più performante, Claude Opus 5, ha raggiunto una risoluzione del 30%, seguito da GPT-5.6 Sol con il 22.4% e Claude Fable 5 con il 21.4%. Al contrario, modelli come GPT-5.6 Luna e Kimi K3 hanno risolto meno del 10% dei task. Questi dati evidenziano una differenza significativa tra i modelli più avanzati e quelli meno performanti, con un impatto notevole sulle capacità scientifiche degli agenti AI.
Il benchmark ha anche rivelato una differenza tra i modelli in base al settore scientifico. Anthropic e OpenAI dominano in tutti i domini tranne nell’ingegneria, dove Grok 4.6 e GPT-5.6 Sol si equivalgono con una risoluzione del 14.8%. Questo risultato sottolinea l’importanza di un benchmark che rifletta le pratiche scientifiche reali e non si limiti a domande standardizzate o esercizi didattici.
La performance varia in base al settore scientifico e al tipo di modello.
Terminal-Bench-Science non è solo un benchmark statico, ma un progetto in evoluzione che si aggiorna regolarmente. La versione 0.1 è il primo passo di un’iniziativa a lungo termine, con l’obiettivo di aggiungere nuovi task, migliorare la copertura nei cinque settori scientifici e mantenere il leaderboard aggiornato con i nuovi modelli di frontiera. Il team ha già iniziato a lavorare alla versione 0.2, con un termine per le richieste di pull di ottobre 2026. Il benchmark è stato reso possibile grazie al supporto di diverse istituzioni e aziende, tra cui il Laude Institute, Snorkel AI e la 2077AI Open Source Foundation. L’obiettivo finale è creare un’infrastruttura aperta e collaborativa per valutare e migliorare le capacità scientifiche degli agenti AI, permettendo ai ricercatori di definire e misurare le competenze necessarie per accelerare la scoperta scientifica.