I BOT sono sistemi tecnologici intangibili, difficili da valutare a colpo d’occhio. Non si vedono: possiamo osservare solo una conversazione testuale o ascoltare una sessione vocale. Ma l’architettura sottostante – fatta di NLP (Natural Language Processing), NLU (Natural Language Understanding), Dialog Management e Speech Recognition – resta invisibile.

Noi di Interactive Media abbiamo oltre 20 anni di esperienza su questo tema. Molti clienti, in Italia e all’estero, hanno scelto le nostre soluzioni – OMNIA (on-premise) e PHONEMYBOT (cloud) – per gestire i contatti dei loro Contact Center in modalità automatica. Cerchiamo qui di seguito di riassumere le modalità spesso usate e di suggerirne di nuove.

Dunque, come vengono misurate in generale le performance di un Bot?
Le metriche più comuni sono:

• CSAT (Customer Satisfaction Score) → misurazione qualitativa tramite sondaggi
• Deflection Rate → riduzione dei contatti gestiti dagli operatori umani
• Automation Rate → percentuale di interazioni risolte dal BOT senza passaggio a un agente

Tutte utili, ma non sufficienti.
La valutazione più precisa richiederebbe la revisione di tutte le interazioni, impossibile con volumi di decine o centinaia di migliaia di sessioni al giorno. Per questo si lavora su campioni statisticamente significativi, individuando gli errori più frequenti e correggendoli attraverso un processo continuo di Tuning (ottimizzazione del modello linguistico e delle regole di dialogo).

A volte ci viene chiesto: “Non si può automatizzare il tuning con un’altra AI?”.
In realtà, se esistesse un’AI in grado di garantire auto apprendimento e una correzione di errori completa, sarebbe essa stessa la soluzione da usare nel BOT. Nella pratica, per servizi reali e professionali, l’intervento umano resta indispensabile.

Abbiamo osservato inoltre che a volte le aziende non hanno una idea chiara delle prestazioni dei loro BOT e spesso non dispongono di un termine di confronto.

Per questo suggeriamo anche approcci oggettivi come:

• Test BOT vs BOT (due soluzioni diverse su flussi reali)
• Test BOT vs operatore umano → confronto diretto BOT/operatori

Solo con queste metodologie è possibile sapere chi performa meglio e prendere decisioni ‘data-driven’.

Se volete approfondire come impostare un sistema di BOT Performance Measurement & Benchmarking, scriveteci a contattaci@imnet.com o cliccate qui: saremo felici di condividere la nostra esperienza.

Metriche chiave per misurare le performance di un BOT