Une fois votre bot mis en place, vous pouvez suivre ses performances, à l’image du reste de vos activités sur iAdvize. Ce focus vous explique à quels indicateurs faire attention pour vous assurer de son succès.
1. Entretien : les grandes lignes
Pour une efficacité optimale, nous vous conseillons un suivi hebdomadaire de votre bot. Entre une demi-heure et une heure et demie seront nécessaires pour bien l’entretenir ! Outre les rapports mentionnés plus bas, voici une liste des actions recommandées :
- exportez vos intentions non détectées : elles vous serviront soit à enrichir vos intentions existantes et à rendre votre IA plus efficace, soit à identifier de nouveaux besoins exprimés directement par vos visiteurs.
- prêtez attention à la saisonnalité : selon votre offre et les moments de l’année, vos visiteurs n’auront pas forcément les mêmes questions : vous aurez sans doute besoin d’adapter votre IA et le scénario de votre bot à leurs nouvelles demandes.
- de la même façon, prêtez aussi attention à l’évolution de votre site et des demandes (lisibles via les rapports Insight et Conversation) car il se peut que de nouveaux sujets émergent ! Pensez alors à créer de nouvelles intentions et de nouvelles branches dans votre scénario, tout particulièrement si ces demandes ont une faible valeur ajoutée et peuvent être traitées en autonomie par votre bot.
2. Le rapport Automatisation
Ce rapport vous permet de suivre l’ensemble de vos bots, dans le contexte de conversations partiellement ou entièrement automatisées. De nombreux indicateurs y figurent, mais pour veiller à la “bonne santé” et à la qualité de votre bot, voici ceux à observer en priorité :
-
la CSAT (pour Customer Satisfaction) : vos bots ne remplaceront jamais les humains et leur note de CSAT égale rarement celle de vos répondants en chair et en os, mais nous vous recommandons une CSAT de 30% minimum sur vos conversations entièrement automatisées ; une note inférieure doit vous alerter et pouvez chercher une explication dans vos autres indicateurs.
-
les échecs de transfert sont aussi un élément important. Ces événements peuvent toujours arriver à la marge, mais un taux d’échec de transfert au-dessus de 5% est déjà vraiment important. Là aussi, il vous faudra chercher une explication dans vos autres indicateurs.
- le taux d’échec de détection d’intention : la bonne expérience de vos visiteurs tient beaucoup à ce qu’ils se sentent compris ! Un taux d’échec élevé est donc alarmant ; pour y parer, vous pouvez consulter la liste de vos expressions non détectées et enrichir vos intentions ou vos entités en conséquence.
3. Le rapport Analyse de scénario
Ce rapport vous permet de suivre la réussite du parcours de chaque bot grâce à une visualisation en arborescence. Cela vous permet d’observer votre parcours dans le détail, tout particulièrement :
-
la CSAT individuelle du bot : tous vos bots ne répondent peut-être pas aussi bien aux besoin des visiteurs qu’ils ciblent ! Contrairement au rapport automatisation qui affichait leur performance globale, le rapport de scénario vous indique la note individuelle d’un bot.
-
le taux d’abandon à chaque branche : il arrive toujours que les visiteurs quittent une conversation, y compris face à un répondant humain. Toutefois, un taux d’abandon élevé sur l’une de vos cartes devrait vous intriguer : peut-être que celle-ci est mal formulée, ne fonctionne pas comme prévu, ou bien ne répond pas exactement aux besoins de vos visiteurs.
-
le taux de oui/non sur vos cartes “vérification” : dans notre focus dédié aux étapes du parcours, nous vous recommandons de créer une carte “compréhension” pour analyser le succès de la détection d’intention et une carte “ai-je bien répondu ?” pour vérifier que votre bot a bien répondu aux besoins de vos visiteurs. Mais elles vous permettent aussi d’analyser plus finement la pertinence de vos bots, à l’intérieur même du parcours ! Si votre carte “compréhension” obtient une majorité de “non”, vous devrez sans doute vous replonger dans votre manager d’intention.
- le rapport Analyse de scénario vous permet aussi de comparer les différentes versions de votre bot, ce qui est précieux. Pour que les résultats de votre bot soient le plus lisibles possible, nous vous recommandons, si vous faites des mises à jour, de les faire toutes en même temps pour éviter de multiplier les versions, et, dans la mesure du possible, de les faire tous les 10 à 15 jours pour avoir de plus amples résultats.
4. Les autres rapports
D’autres rapports sont importants pour gérer vos bots, même s’ils ne leur sont pas exclusivement dédiés. Parmi eux :
-
le rapport Insights vous donne une sorte de “météo” des sujets qui préoccupent vos visiteurs. Si vous pensez que votre détection d’intention peut être améliorée ou que votre bot ne semble pas satisfaire vos visiteurs, ce rapport vous donnera en peu de temps un bon aperçu des thèmes à traiter.
- le rapport Conversations vous donne accès au détail de toutes les conversations, mais vous permet aussi de les filtrer, notamment par degré d’automatisation. En filtrant vos conversations partiellement ou entièrement automatisées et en sélectionnant les CSAT les plus basses, vous pourrez lire ces conversations du début à la fin et comprendre comment améliorer son déroulé.
