Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo
Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo
Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo. Su un’applicazione di test, su 47 messaggi reali di clienti, il modello più recente non ha mai perso rispetto a quello in produzione, né in termini di formattazione né di accuratezza. Tuttavia, in un’unica applicazione, il modello nuovo ha commesso un errore critico: ha classificato male sia la categoria che la decisione di escalation. Questo errore è stato rilevato da un sistema di controllo rigoroso, che ha confermato che “Request_refund” non è uno dei 77 label reali previsti. L’errore è stato causato da un uso improprio di una lettera maiuscola, un dettaglio che ha reso il modello inutilizzabile per l’applicazione.
Un test di regressione su un modello AI
Il test ha coinvolto tre versioni di un modello OpenAI, confrontandole su un dataset di 47 messaggi reali di clienti. Il modello più recente ha seguito sempre la forma richiesta, mentre il modello in produzione ha commesso un errore sistematico: usava una label con la prima lettera maiuscola, come “Request_refund”, invece che “request_refund”. Questo errore ha reso impossibile per il sistema di riconoscimento automatico di identificare correttamente la categoria, causando un fallimento silenzioso. Il sistema non ha mai segnalato l’errore, ma ha semplicemente smesso di elaborare i messaggi in questione.
Il modello in produzione ha commesso un errore sistematico, causando un fallimento silenzioso. Il sistema di controllo ha rilevato che il modello in produzione aveva un problema di formattazione, mentre il modello nuovo non ne aveva. Inoltre, il sistema ha confermato che il modello nuovo aveva una migliore accuratezza nel riconoscere le categorie e nel decidere se un messaggio richiedeva un intervento umano.
Un sistema di controllo rigoroso
Per verificare l’accuratezza del modello, è stato utilizzato un sistema di controllo rigoroso basato su regole fisse. Questo sistema ha confrontato le risposte dei modelli con le specifiche richieste, come la forma JSON, i campi obbligatori e i valori consentiti. Il sistema ha rilevato che il modello in produzione aveva un problema di formattazione, mentre il modello nuovo non ne aveva. Inoltre, il sistema ha confermato che il modello nuovo aveva una migliore accuratezza nel riconoscere le categorie e nel decidere se un messaggio richiedeva un intervento umano.
Il sistema di controllo ha rilevato un problema di formattazione nel modello in produzione. Il test ha anche mostrato che il modello nuovo aveva una migliore capacità di rispondere correttamente a domande complesse, come quelle relative a richieste di rimborso o problemi con carte di credito. Tuttavia, il modello in produzione aveva un problema di formattazione che ha reso impossibile per il sistema di riconoscimento automatico di identificare correttamente la categoria. Questo errore ha reso il modello inutilizzabile per l’applicazione, anche se la risposta sembrava corretta a un occhio umano.
Il test ha rivelato che il modello nuovo aveva una migliore accuratezza nel riconoscere le categorie e nel decidere se un messaggio richiedeva un intervento umano. Tuttavia, il modello in produzione aveva un problema di formattazione che ha reso impossibile per il sistema di riconoscimento automatico di identificare correttamente la categoria. Questo errore ha reso il modello inutilizzabile per l’applicazione, anche se la risposta sembrava corretta a un occhio umano.