Comme tous les bots, ceux équipés d’une IA générative doivent être suivis et souvent modifiés pour continuer à améliorer leurs performances. Voici quelques conseils sur les indicateurs à observer de près, que vous pourrez trouver dans le rapport Copilot.

1. Comment suivre les performances de votre Copilot ?

1.1. Vos objectifs, une clef de lecture cruciale

En premier lieu, nous vous incitons à regarder tout indicateur (pas seulement ceux associés à Copilot) en fonction des objectifs déterminés par votre entreprise et de votre stratégie conversationnelle.

 

Chaque stratégie diffère grandement en termes d’objectif à atteindre, de moyens déployés ou même de volume de conversations ; un score exactement identique peut être considéré comme bon pour une stratégie donnée, ou médiocre pour une autre. Vos objectifs sont à garder en tête lors de votre lecture, car ils constituent la clef de lecture essentielle de vos indicateurs !

 

1.2. Fréquence du suivi

Nous vous recommandons de vous pencher sur ces indicateurs au moins une fois par semaine, voire plus souvent si votre bot traite un très grand volume de conversations.

 

Si vous devez modifier votre bot ou sa knowledge pour l’améliorer, nous vous conseillons de faire toutes les modifications en une fois et d’éviter de multiplier les versions de votre bot, pour un maximum de cohérence et de lisibilité de ses résultats.

 

Trois perspectives peuvent guider votre lecture des indicateurs du rapport Copilot :

2. L’efficacité

2.1. La part IA des conversations

Ce chiffre vous indique quelle proportion de l’ensemble de vos conversations a été prise en charge par Copilot. Il est à mettre en parallèle avec les objectifs de productivité que vous vous êtes fixés au début de votre projet : souhaitez-vous que le bot prenne en charge la majorité des conversations ? ou seulement une partie spécifique de vos échanges avec vos visiteurs ?

 

Si vous avez opté pour une stratégie de réponse élaborée avec plusieurs bots (dont certains sans Copilot), il peut être intéressant de comparer la part IA des conversations avec la part de conversations automatisée, disponible dans le rapport automatisation : ce chiffre vous indiquera la part prise par l’ensemble des bots (IA comprise) et vous permettra de mieux évaluer les services rendus, à la fois par les bots et par Copilot, les seuls à utiliser l’IA générative.

 

2.2. Le taux de transfert

Ce chiffre vous indique la part des conversations initiées avec l’IA, puis transmises à un conseiller humain. Il est lui aussi à lire en fonction de votre stratégie globale de réponse : visez-vous un bot pleinement autonome, ou souhaitez-vous faciliter le recours aux conseillers humains ?

Dans le second cas, un taux élevé de transferts est le signe que le bot remplit son office.

Mais dans le premier cas, si vous espérez un bot pleinement autonome, vous devez viser un taux de transfert très bas, voire nul. Dans ce cas de figure, si vous avez paramétré les contrôles personnalisés de votre bot pour rediriger vers un conseiller lors de cas-limites et trouvez que les transferts sont trop fréquents, nous vous conseillons de vous pencher sur vos indicateurs de qualité.

 

 

3. La qualité des réponses

3.1. La CSAT

Cet indicateur classique vous donne un aperçu immédiat de l’expérience globale des clients par rapport à leur conversation impliquant un Copilot, puisqu’il se base sur une note donnée en fin de conversation.

 

Le rapport Copilot distingue la CSAT des conversations entièrement gérées par l’IA de celles partiellement gérées par l’IA (= qui ont donné lieu à un transfert vers un conseiller et dont la note est normalement supérieure). Vous pouvez aussi le comparer avec la CSAT de l’ensemble de vos conversations, visible depuis le rapport Expérience client.

 

Une CSAT basse (inférieure à 60% pour un Copilot) doit vous alarmer et vous encourager à vous pencher davantage sur les autres indicateurs de qualité.

3.2. Les retours visiteurs sur les réponses de l’IA

Dans la chatbox ouverte sur votre site, vos visiteurs peuvent faire un retour sur chaque réponse faite par Copilot. Ils n’évaluent jamais la totalité des réponses, c’est pourquoi les retours sont loin d’atteindre les 100% (nos équipes constatent 10% de retours au maximum).

Un lien en dessous des retours négatifs vous permet de lire les réponses sur lesquelles vos visiteurs ont fait un retour négatif. Nous vous conseillons de les lire avec attention et de les mettre en rapport avec le contenu de votre Knowledge pour améliorer cette dernière.

3.3. Le taux de réponse IA

Il s’agit du pourcentage de conversations où l’IA de Copilot a bien été en mesure de fournir une réponse aux visiteurs. En effet, Copilot n’a pas toujours réponse à tout :

• soit les informations contenues dans la Knowlege que vous lui avez fournie sont incomplètes
• soit les visiteurs posent des questions trop individuelles ou contextuelles (contenant par exemple un nom ou un email), et Copilot ne peut leur répondre avec ses connaissances générales
• soit les visiteurs posent des questions qui ne correspondent pas au cas d’usage attendu (par exemple, posent des questions de suivi alors que Copilot est paramétré pour la découverte produit)
• soit Copilot se censure de lui-même, du fait de réglages internes, ou bien de ceux que vous avez paramétrés.

 

Un taux bas (60% est considéré comme un minimum à atteindre) signifie que Copilot ne vous rend pas pleinement les services attendus, et est susceptible d’influencer négativement la CSAT : les visiteurs sont rarement contents de s’entendre dire qu’on ne peut leur répondre.

 

Des ajustements sont presque systématiquement nécessaires au cours d’un projet impliquant une IA générative, particulièrement au début.

 

Pour augmenter votre taux de réponse IA, nous vous donnons des conseils dans la partie suivante.

4. Les pistes d’amélioration

4.1. Les sujets récurrents

Le rapport Copilot ne vous rend pas seulement compte des performances de l’IA, mais vous fournit les leviers nécessaires pour les améliorer, directement depuis la liste des sujets récurrents.

 

L’ensemble des conversation traitées par l’IA y sont rassemblés par thématique.

 

Par défaut, les sujets sont triés par nombre d’occurrences, car ce sont ceux qui sont les plus demandés à Copilot, mais vous pouvez aussi jouer sur l’affichage pour afficher en priorité ceux qui donnent lieu à la CSAT la plus basse, au plus grand nombre de transferts, ou qui ont la capacité de réponse la plus faible : un excellent moyen de prioriser votre travail.

 

Un clic sur le bouton “améliorer” vous permet d’accéder à une liste des 5 questions les plus recommandées par l’IA pour compléter ses informations sur cette thématique récurrente. Cette liste est issue de la synthèse des conversations qui se sont tenues entre Copilot et les visiteurs sur le sujet.

En cliquant sur “Ajouter du contenu” vous pouvez directement ajouter une nouvelle entrée pour alimenter la Knowledge sur laquelle se base Copilot pour répondre aux questions de vos visiteurs. Vous pouvez si besoin en reformuler le sujet, et ajouter autant de détails que vous le souhaitez dans le champ “Contenu”.

4.2. La lecture détaillée des conversations

Une fois les cinq suggestions principales traitées, vous pouvez aussi visualisez la liste de toutes les conversations associées à cette thématique, et les lire pour mieux en comprendre le contexte et analyser plus finement les réponses de Copilot.

 

Par exemple :

• si le bot semble manquer d’informations et/ou les mélanger entre elles, n’hésitez pas à compléter ou à reformuler votre Knowledge pour la rendre plus claire et explicite, voire à lui ajouter une source
• si vos visiteurs posent des questions trop individuelles et contextuelles (contenant une adresse mail ou un numéro de commande), n’hésitez pas, dans la carte du scénario dédiée à Copilot, à reformuler ses phrases d’introduction pour qu’il demande aux visiteurs des questions plus généralistes
• si les besoins de vos visiteurs dépassent le cas d’usage prévu - rien ne vous empêche alors d’ajouter une knowlege et d’ajuster votre stratégie pour cumuler les cas d’usage (par exemple, la découverte produit et la FAQ sont assez complémentaires). Si vos visiteurs cherchent à suivre leur commande, vous pouvez aussi ajuster votre scénario de bot selon le cas d’usage dédié.