Rapport Copilot : suivez les performances de votre IA conversationnelle

Si vous avez recours à une IA générative, cette section dédiée vous permet de consulter vos indicateurs principaux pour les bots qui utilisent cette technologie. 

 

Les indicateurs de Copilot pour vos clients

b.jpg

Cette vue est consolidée si vous disposez de plusieurs bots. Elle peut être filtrée pour visualiser des résultats par bot.

 

 

Indicateurs Définition
Chiffre d'affaire

Chiffre d'affaire total généré par les conversations auxquelles l'IA générative a contribué.

 

Deux montants sont calculés :

- Le CA des conversations entièrement automatisées, où seul le copilot a échangé avec le visiteur,

- Le CA des conversations partiellement automatisées, où le copilot a contribué à une partie des échanges avec le visiteur. 

Taux de conversion 

Taux de conversion des conversations auxquelles l'IA générative a participé.

 

Deux pourcentages sont calculés :

- Le taux de conversion des conversations entièrement automatisées, où seul le copilot a échangé avec le visiteur,

- Le taux de conversion des conversations partiellement automatisées, où le copilot a contribué à une partie des échanges avec le visiteur. 

Satisfaction client (CSAT)

Pourcentage de clients satisfaits par les conversations au cours desquelles l'IA générative est intervenue. 

 

Deux pourcentages sont calculés :

- La CSAT des conversations entièrement automatisées, où seul le copilot a échangé avec le visiteur,

- La CSAT des conversations partiellement automatisées, où le copilot a contribué à une partie des échanges avec le visiteur. 

Participation aux conversations Pourcentage et nombre de conversations incluant au moins une réponse de la part de l'IA générative.
Capacité de réponse de l'IA

Pourcentage de conversations où l'IA générative n'a pas été en mesure de fournir une réponse au moins une fois.

 

La capacité de réponse de l'IA mesure le pourcentage de conversations ayant répondu à l'ensemble des questions des clients. Elle mesure aussi la part des conversations qui n'a apporté aucune réponse au client.

Feedbacks clients sur les réponses de l'IA

Pourcentage des messages générés par l'IA ayant reçu un feedback positif ou négatif de la part des clients.

 

Au cours de la conversation, les clients ont la possibilité d'attribuer une note de satisfaction aux réponses apportées par l'IA générative. Elle permettra de calculer les pourcentages des feedbacks positifs et négatifs. 

Transferts aux agents

Pourcentage de conversations avec l'IA générative pour lesquelles le copilot a effectué un transfert.

 

Le calcul de ce pourcentage ne fait pas de distinction entre les transferts échoués et les transferts réussis. 

 

 

Conversations avec non-réponses

 

 

Détails des raisons de conversations avec non-réponses afin de pouvoir analyser l'expérience de l'utilisateur final et comprendre comment améliorer la capacité du copilot à répondre.

 

 

Product Discovery

 

 

  • Analyser la performance des suggestions du copilot tout au long de la conversation afin de pouvoir analyser comment les clients réagissent aux recommandations.
  • Comparer l'impact de use cases par rapport à d'autres types de conversations

  • Repérer les produits les plus suggérés.

  • Analyser le comportement du Copilot.

 

 

Trois éléments méritent une attention particulière : 

  • les réponses ayant reçu une évaluation négative : les visiteurs peuvent évaluer chaque réponse donnée par l’IA (ce type d’évaluation est distinct du questionnaire de satisfaction qui intervient seulement en fin de conversation), et le cas échéant, dire pourquoi ils n’en sont pas satisfaits. Nous vous conseillons de les lire attentivement pour voir si l’IA fonctionne comme prévu et pour prévenir toute réponse erronée. 
  • les questions non répondues sont celles auxquelles l’IA n’a pas trouvé de réponse. Nous vous conseillons d’analyser ces situations en détail pour savoir si vous devez fournir davantage d’informations à votre IA.
  • le product discovery vous permet d'analyser la performance des suggestions du copilot. De ce fait, vous pourrez repérer les produits les plus suggérés de ce dernier et analyser son comportement.

 

Les indicateurs de Copilot pour vos conseillers

Capture d’écran 2023-11-06 à 15.07.54.png

Indicateurs Définition
Conversations avec assistance IA Pourcentage et nombre de conversations au cours desquelles un conseiller a utilisé une fonctionnalité Copilot pour répondre au visiteur.
Satisfaction client (CSAT) Taux de satisfaction des conversations au cours desquelles le conseiller a utilisé la fonctionnalité Copilot pour Agents.
Taux de conversion Taux de conversion des conversations pour lesquelles un conseiller a utilisé la fonctionnalité Copilot pour Agents et qui ont conduit à une transaction.

 

NB: L'indicateur "Conversations avec assistance IA" prend seulement compte des suggestions Copilot et le Compose Assist, en raison du faible usage des autres fonctionnalités (Panel et Smart Summary).

 

 

Analysez et améliorez les résultats de votre bot

Pour aller plus loin dans l'analyse des performances de vos conversations avec l'IA Générative, vous avez la possibilité de lire les conversations, les feedbacks clients, et les questions non répondues par vos bots. 

 

Filtrer le rapport Gen AI par conseiller 

Vous pouvez suivre les performances de votre bot GenAI grâce au filtre “Conseiller” de votre rapport Automatisation. Ainsi, pilotez ses résultats et ses statistiques pour le rendre plus efficace.

 

L’utilisation de ce filtre vous offre la possibilité de consulter les statistiques de tous vos bots en même temps, ou d’un bot à la fois. Vous pouvez y accéder depuis votre rapport production, ou depuis votre rapport IA Générative. 

 

Pour y accéder depuis votre rapport production, cliquez sur "Reporting" > Production > Ajouter un filtre : Choisir filtre.

Capture d’écran 2023-12-11 à 09.42.36.png

 

Pour y parvenir depuis votre rapport IA Générative, allez dans "Reporting" > IA Générative > Ajouter un filtre : Choisir filtre.

Capture d’écran 2023-12-11 à 09.42.04.png

NB : Vérifiez que vous avez sélectionné le bon filtre pour s’assurer de l’exactitude des données du rapport automatisation.

 

Pour approfondir l'analyse des performances de vos bots Gen AI, vous pouvez utiliser les filtres de date, de projet et de canal pour vous concentrer uniquement sur les statistiques qui vous intéressent.

 

Les éléments à analyser

 

Participation aux conversations

Cet indicateur mesure le nombre de conversations incluant au moins une réponse de la part de l'IA. Grâce au bouton "Lire les conversations", vous pouvez consulter les conversations concernées. 

Capture d’écran 2023-11-10 à 12.07.05.png

Vous disposez de plusieurs informations clés sur les conversations clôturées qui ont bénéficié du Copilot pour vos clients. Notamment le NPS (Net Promoter Score), qui correspond à la note attribuée par le visiteur à la conversation; Mais aussi un emoji représentant le taux de satisfaction client.

 

Lorsque les conversations ont un mauvais NPS ou un faible taux de satisfaction (CSAT), vous pouvez consulter ou exporter les conversations concernées afin d'en analyser le contenu et d'apporter les solutions nécessaires pour améliorer les performances de votre bot.

 

Capture d’écran 2023-11-10 à 12.09.12.png

 

Capacité de réponse de l'IA

Cet indicateur calcule le pourcentage de conversations concernées par les questions non répondues. 

Capture d’écran 2024-05-27 à 09.54.13.png

Grâce à cet indicateur, vous pouvez explorer les questions posées par vos visiteurs auxquelles l'IA Générative n'a pas su répondre. Ainsi, vous pourrez fournir davantage d'informations à votre bot pour améliorer ses capacités de réponse. 

 

La section "Taux de réponse de l'IA" vous dévoile le nombre et le pourcentage de conversations durant lesquelles le Copilot IA a répondu à l'ensemble des questions d'un visiteur. 

 

Dans la section "Capacités de réponse de l'IA" dans le rapport Copilot IA, cliquez sur pour découvrir les questions auquel le bot n'a pas su répondre. Pour aller plus loin, cliquez sur le    en face des questions non répondues pour avoir davantage de détails.

 

Capture d’écran 2023-11-10 à 12.10.57.png

 

 

Une section dédiée dans le rapport Copilot AI regroupe les sujets récurrents dans les conversations sur l'IA. Les thèmes abordés le plus souvent par vos visiteurs sont alors affichés distinctement. Vous pouvez également découvrir le pourcentage de conversations qui traitent de ce sujet, le pourcentage de satisfaction de vos visiteurs, le pourcentage de transfert des conversations liées à ce thème et le taux de réponse. 

Lorsque vous cliquez survous pouvez retrouver l'ensemble des questions auquel votre bot n'a pas su répondre. Elles sont alors classées par thèmes. Cela peut vous aider à mieux comprendre le comportement de votre bot et ainsi ajuster votre AI Knowledge en conséquence afin d'améliorer les performances de votre Copilot IA.

Également, vous pourrez découvrir les 5 principales questions suggérées par l'IA en combinant diverses questions non-répondues avec des significations similaires. Ces questions sont conçues pour améliorer votre compréhension.

 

 

En cas de non-réponse de la part de votre bot, vous pouvez consulter la conversation afin d'obtenir davantage de détails et améliorer sa réponse. Pour cela, cliquez sur le "Améliorer la réponse" sous la réponse de votre bot.

  • En cliquant sur Analyser vous pourrez examiner quels éléments n'ont pas pu être exploités correctement par votre bot dans la Knowledge et comprendre ce qui a conduit à cette non-réponse.
  • En cliquant sur Ajouter du contenu vous pourrez inscrire une nouvelle réponse que celle donnée par votre Copilot pour l'adapter le plus possible.

 

Feedbacks clients sur les réponses de l'IA

Cet indicateur rapporte le pourcentage de feedbacks positifs et négatifs des clients quant aux réponses fournies par l'IA Générative. 

Capture d’écran 2023-11-10 à 12.06.53.png

Le bouton "Voir" vous permet d'accéder aux questions formulées par vos visiteurs, aux réponses apportées par l'IA Générative qui ont obtenues un mauvais feedback, ainsi qu'à ces retours.

Vous pouvez choisir de simplement consulter ou exporter ces conversations.

 

Capture d’écran 2023-11-10 à 12.10.29.png

 

Conversations avec assistance IA

Cet indicateur calcule le nombre et le pourcentage de conversations au cours desquelles votre conseiller a fait appel à l'IA Générative pour formuler ses réponses. 

Capture d’écran 2023-11-10 à 12.07.24.png

Comme pour l'indicateur de "Participation à la conversation", vous disposez de plusieurs indicateurs supplémentaires comme le NPS (Net Promoter Score), la durée de conversation, ou encore le taux de satisfaction client.

 

Lorsque les conversations ont un mauvais NPS ou un faible taux de satisfaction (CSAT), vous pouvez consulter ou exporter les conversations concernées afin d'en analyser le contenu et d'apporter les solutions nécessaires pour améliorer les performances de votre bot.

 

Capture d’écran 2023-11-10 à 12.09.12.png