Rapport Copilot : suivez les performance de votre IA conversationnelle

Si vous avez recours à une IA générative, cette section dédiée vous permet de consulter vos indicateurs principaux pour les bots qui utilisent cette technologie. 

 

Les indicateurs de Copilote pour vos clients

b.jpg

Cette vue est consolidée si vous disposez de plusieurs bots. Elle peut être filtrée pour visualiser des résultats par bot.

 

 

Indicateurs Définition
Chiffre d'affaire

Chiffre d'affaire total généré par les conversations auxquelles l'IA générative a contribué.

 

Deux montants sont calculés :

- Le CA des conversations entièrement automatisées, où seul le copilote a échangé avec le visiteur,

- Le CA des conversations partiellement automatisées, où le copilote a contribué à une partie des échanges avec le visiteur. 

Taux de conversion 

Taux de conversion des conversations auxquelles l'IA générative a participé.

 

Deux pourcentages sont calculés :

- Le taux de conversion des conversations entièrement automatisées, où seul le copilote a échangé avec le visiteur,

- Le taux de conversion des conversations partiellement automatisées, où le copilote a contribué à une partie des échanges avec le visiteur. 

Satisfaction client (CSAT)

Pourcentage de clients satisfaits par les conversations au cours desquelles l'IA générative est intervenue. 

 

Deux pourcentages sont calculés :

- La CSAT des conversations entièrement automatisées, où seul le copilote a échangé avec le visiteur,

- La CSAT des conversations partiellement automatisées, où le copilote a contribué à une partie des échanges avec le visiteur. 

Participation aux conversations Pourcentage et nombre de conversations incluant au moins une réponse de la part de l'IA générative.
Capacité de réponse de l'IA

Pourcentage de conversations où l'IA générative n'a pas été en mesure de fournir une réponse au moins une fois.

 

La capacité de réponse de l'IA mesure le pourcentage de conversations ayant répondu à l'ensemble des questions des clients. Elle mesure aussi la part des conversations qui n'a apporté aucune réponse au client.

Feedbacks clients sur les réponses de l'IA

Pourcentage des messages générés par l'IA ayant reçu un feedback positif ou négatif de la part des clients.

 

Au cours de la conversation, les clients ont la possibilité d'attribuer une note de satisfaction aux réponses apportées par l'IA générative. Elle permettra de calculer les pourcentages des feedbacks positifs et négatifs. 

Transferts aux agents

Pourcentage de conversations avec l'IA générative pour lesquelles le copilote a effectué un transfert.

 

Le calcul de ce pourcentage ne fait pas de distinction entre les transferts échoués et les transferts réussis. 

 

 

Conversations avec non-réponses

 

 

Détails des raisons de conversations avec non-réponses afin de pouvoir analyser l'expérience de l'utilisateur final et comprendre comment améliorer la capacité du copilote à répondre.

 

 

Product Discovery

 

 

  • Analyser la performance des suggestions du copilote tout au long de la conversation afin de pouvoir analyser comment les clients réagissent aux recommandations.
  • Comparer l'impact de use cases par rapport à d'autres types de conversations

  • Repérer les produits les plus suggérés.

  • Analyser le comportement du Copilote.

 

 

Trois éléments méritent une attention particulière : 

  • les réponses ayant reçu une évaluation négative : les visiteurs peuvent évaluer chaque réponse donnée par l’IA (ce type d’évaluation est distinct du questionnaire de satisfaction qui intervient seulement en fin de conversation), et le cas échéant, dire pourquoi ils n’en sont pas satisfaits. Nous vous conseillons de les lire attentivement pour voir si l’IA fonctionne comme prévu et pour prévenir toute réponse erronée. 
  • les questions non répondues sont celles auxquelles l’IA n’a pas trouvé de réponse. Nous vous conseillons d’analyser ces situations en détail pour savoir si vous devez fournir davantage d’informations à votre IA.
  • le product discovery vous permet d'analyser la performance des suggestions du copilote. De ce fait, vous pourrez repérer les produits les plus suggérés de ce dernier et analyser son comportement.

 

Les indicateurs de Copilote pour vos agents

Capture d’écran 2023-11-06 à 15.07.54.png

Indicateurs Définition
Conversations avec assistance IA Pourcentage et nombre de conversations au cours desquelles un conseiller a utilisé une fonctionnalité Copilote pour répondre au visiteur.
Satisfaction client (CSAT) Taux de satisfaction des conversations au cours desquelles le conseiller a utilisé la fonctionnalité Copilote pour Agents.
Taux de conversion Taux de conversion des conversations pour lesquelles un conseiller a utilisé la fonctionnalité Copilote pour Agents et qui ont conduit à une transaction.

 

Analysez et améliorez les résultats de votre bot

Pour aller plus loin dans l'analyse des performances de vos conversations avec l'IA Générative, vous avez la possibilité de lire les conversations, les feedbacks clients, et les questions non répondues par vos bots. 

 

Filtrer le rapport Gen AI par conseiller 

Vous pouvez suivre les performances de votre bot GenAI grâce au filtre “Conseiller” de votre rapport Automatisation. Ainsi, pilotez ses résultats et ses statistiques pour le rendre plus efficace.

 

L’utilisation de ce filtre vous offre la possibilité de consulter les statistiques de tous vos bots en même temps, ou d’un bot à la fois. Vous pouvez y accéder depuis votre rapport production, ou depuis votre rapport IA Générative. 

 

Pour y accéder depuis votre rapport production, cliquez sur "Reporting" > Production > Ajouter un filtre : Choisir filtre.

Capture d’écran 2023-12-11 à 09.42.36.png

 

Pour y parvenir depuis votre rapport IA Générative, allez dans "Reporting" > IA Générative > Ajouter un filtre : Choisir filtre.

Capture d’écran 2023-12-11 à 09.42.04.png

NB : Vérifiez que vous avez sélectionné le bon filtre pour s’assurer de l’exactitude des données du rapport automatisation.

 

Pour approfondir l'analyse des performances de vos bots Gen AI, vous pouvez utiliser les filtres de date, de projet et de canal pour vous concentrer uniquement sur les statistiques qui vous intéressent.

 

Les éléments à analyser

 

Participation aux conversations

Cet indicateur mesure le nombre de conversations incluant au moins une réponse de la part de l'IA. Grâce au bouton "Lire les conversations", vous pouvez consulter les conversations concernées. 

Capture d’écran 2023-11-10 à 12.07.05.png

Vous disposez de plusieurs informations clés sur les conversations clôturées qui ont bénéficié du Copilote pour vos clients. Notamment le NPS (Net Promoter Score), qui correspond à la note attribuée par le visiteur à la conversation; Mais aussi un emoji représentant le taux de satisfaction client.

 

Lorsque les conversations ont un mauvais NPS ou un faible taux de satisfaction (CSAT), vous pouvez consulter ou exporter les conversations concernées afin d'en analyser le contenu et d'apporter les solutions nécessaires pour améliorer les performances de votre bot.

 

Capture d’écran 2023-11-10 à 12.09.12.png

 

Capacité de réponse de l'IA

Cet indicateur calcule le pourcentage de conversations concernées par les questions non répondues. 

Capture d’écran 2024-05-27 à 09.54.13.png

Grâce à cet indicateur, vous pouvez explorer les questions posées par vos visiteurs auxquelles l'IA Générative n'a pas su répondre. Ainsi, vous pourrez fournir davantage d'informations à votre bot pour améliorer ses capacités de réponse. 

 

Capture d’écran 2023-11-10 à 12.10.57.png

 

Dans la conversation choisie, cliquez sur le    sous la réponse de votre bot pour voir le détail de cette non-réponse.


Les types de questions non répondues

Information manquante : Le LLM a consulté les sources de knowledge mais n'y a pas trouvé d'informations lui permettant de générer une réponse. Cela peut être dû à des embeddings de score insuffisants ou des embeddings suffisants mais sans informations pertinentes à l'intérieur.

Sources de knowledge manquante : Le modèle n'a pas identifié de sources d'informations adaptées à la question :

  • Pour une question de type FAQ, aucune knowledge FAQ correspondante n'a été trouvée.
  • Pour une question sur un produit (demande d'information ou exploration), aucune knowledge produit appropriée n'a été identifiée.

Product discovery désactivée : Le Copilote n'a pas fourni de réponse car il a identifié une demande qu'il n'est pas permis de traiter.

Applicable seulement lorsque le catalogue produit est téléchargé.

Risque d'hallucination : Le LLM a généré une réponse mais a estimé qu'elle n'était pas correcte et ne devrait pas être envoyée à l'utilisateur final.

Filtre de contenu : Le message de l'utilisateur final ou du bot a été filtré par Azure, ce qui a empêché le LLM de répondre.

 

Feedbacks clients sur les réponses de l'IA

Cet indicateur rapporte le pourcentage de feedbacks positifs et négatifs des clients quant aux réponses fournies par l'IA Générative. 

Capture d’écran 2023-11-10 à 12.06.53.png

Le bouton "Voir" vous permet d'accéder aux questions formulées par vos visiteurs, aux réponses apportées par l'IA Générative qui ont obtenues un mauvais feedback, ainsi qu'à ces retours.

Vous pouvez choisir de simplement consulter ou exporter ces conversations.

 

Capture d’écran 2023-11-10 à 12.10.29.png

 

Conversations avec assistance IA

Cet indicateur calcule le nombre et le pourcentage de conversations au cours desquelles votre conseiller a fait appel à l'IA Générative pour formuler ses réponses. 

Capture d’écran 2023-11-10 à 12.07.24.png

Comme pour l'indicateur de "Participation à la conversation", vous disposez de plusieurs indicateurs supplémentaires comme le NPS (Net Promoter Score), la durée de conversation, ou encore le taux de satisfaction client.

 

Lorsque les conversations ont un mauvais NPS ou un faible taux de satisfaction (CSAT), vous pouvez consulter ou exporter les conversations concernées afin d'en analyser le contenu et d'apporter les solutions nécessaires pour améliorer les performances de votre bot.

 

Capture d’écran 2023-11-10 à 12.09.12.png