Votre Assistant doit être suivi pour continuer à améliorer ses performances. Voici quelques conseils sur les indicateurs à observer de près.

1. Comment suivre les performances de votre Assistant ?

1.1. Vos objectifs, une clef de lecture cruciale

En premier lieu, nous vous incitons à regarder tout indicateur (pas seulement ceux associés à votre Assistant) en fonction des objectifs déterminés par votre entreprise et de votre stratégie conversationnelle.

Chaque stratégie diffère grandement en termes d’objectif à atteindre, de moyens déployés ou même de volume de conversations ; un score exactement identique peut être considéré comme bon pour une stratégie donnée, ou médiocre pour une autre. Vos objectifs sont à garder en tête lors de votre lecture, car ils constituent la clef de lecture essentielle de vos indicateurs !

1.2. Fréquence du suivi

Nous vous recommandons de vous pencher sur ces indicateurs au moins une fois par semaine, voire plus souvent si votre Assistant traite un très grand volume de conversations.

Si vous devez modifier votre Assistant ou ses connaissances pour l’améliorer, nous vous conseillons de faire toutes les modifications en une fois et d’éviter de multiplier les versions de votre Assistant, pour un maximum de cohérence et de lisibilité de ses résultats.

Accédez à l'onglet Rapports > Rapports avancés > Assistant Shopping IA

2. L’efficacité

2.1. La part IA des conversations

Ce chiffre vous indique quelle proportion de l’ensemble de vos conversations a été prise en charge par votre Copilot. Il est à mettre en parallèle avec les objectifs de productivité que vous vous êtes fixés au début de votre projet : 

Souhaitez-vous que votre Assistant prenne en charge la majorité des conversations ? 
Ou seulement une partie spécifique de vos échanges avec vos visiteurs ?

Si vous avez opté pour une stratégie de réponse élaborée avec plusieurs bots (dont certains sans IA générative), il peut être intéressant de comparer la part IA des conversations avec la part de conversations automatisée, disponible dans le rapport automatisation : ce chiffre vous indiquera la part prise par votre Assistant, et vos bots si vous en disposez, et vous permettra de mieux évaluer les services rendus.

2.2. Le taux de transfert

Ce chiffre vous indique la part des conversations initiées avec votre Assistant, puis transmises à un conseiller humain. Il est lui aussi à lire en fonction de votre stratégie globale de réponse : visez-vous un Assistant pleinement autonome, ou souhaitez-vous faciliter le recours aux conseillers humains ?

Dans le second cas, un taux élevé de transferts est le signe que votre Assistant remplit son office.

Mais dans le premier cas, si vous espérez un Assistant pleinement autonome, vous devez viser un taux de transfert très bas, voire nul. Dans ce cas de figure, si vous avez paramétré les comportements personnalisés de votre Assistant pour rediriger vers un conseiller lors de cas-limites et trouvez que les transferts sont trop fréquents, nous vous conseillons de vous pencher sur vos indicateurs de qualité.

3. La qualité des réponses

3.1. La CSAT

Cet indicateur classique vous donne un aperçu immédiat de l’expérience globale des clients par rapport à leur conversation impliquant un Assistant, puisqu’il se base sur une note donnée en fin de conversation.

Le rapport distingue la CSAT des conversations entièrement gérées par votre Assistant de celles partiellement gérées par votre Assistant (= qui ont donné lieu à un transfert vers un conseiller et dont la note est normalement supérieure). 
 

Une CSAT basse (inférieure à 60% pour un Assistant) doit vous encourager à vous pencher davantage sur les autres indicateurs de qualité.

3.2. Les retours visiteurs sur les réponses de votre Assistant

Dans le Shopping Panel, conversation ouverte sur votre site, vos visiteurs peuvent faire un retour sur chaque réponse faite par Assistant. Ils n’évaluent jamais la totalité des réponses, c’est pourquoi les retours sont loin d’atteindre les 100% (nos équipes constatent 10% de retours au maximum).

Un lien en dessous des retours négatifs vous permet de lire les réponses sur lesquelles vos visiteurs ont fait un retour négatif. Nous vous conseillons de les lire avec attention et de les mettre en rapport avec le contenu de votre base de connaissances pour améliorer cette dernière.

Le calcul est le suivant : 

Positifs = nombre de feedback positif / nombre total de feedback demandés
Négatifs = nombre de feedback négatif / nombre total de feedback demandés
 

3.3. Le taux de réponse

Il s’agit du pourcentage de conversations où votre Assistant a bien été en mesure de fournir une réponse aux visiteurs. En effet, votre Assistant peut ne pas avoir toujours réponse à tout :

• soit les informations fournies dans vos bases de connaissances sont incomplètes
• soit les visiteurs posent des questions trop individuelles ou contextuelles (contenant par exemple un nom ou un email) et votre Assistant ne peut leur répondre avec ses connaissances générales
• soit les visiteurs posent des questions qui ne correspondent pas au cas d’usage attendu (par exemple, posent des questions de suivi de commande et votre Assistant n'a pas les capacité pour répondre)

• soit votre Assistant se censure de lui-même, du fait de réglages internes, ou bien de ceux que vous avez paramétrés.

   

Un taux bas (60% est considéré comme un minimum à atteindre) signifie que votre Assistant ne vous rend pas pleinement les services attendus, et est susceptible d’influencer négativement la CSAT : les visiteurs sont rarement contents de s’entendre dire qu’on ne peut leur répondre.

Des ajustements sont presque systématiquement nécessaires au cours d’un projet impliquant un Assistant, particulièrement au début.

Pour augmenter votre taux de réponse, nous vous donnons des conseils dans cet article.