Objectif

Ce guide a pour objectif de vous accompagner pas à pas dans la mise en place d’un test A/B via Kameleoon visant à mesurer l’impact business de la solution iAdvize, à travers la mise en place des “Conversation Starters*”.

*Les Conversation Starters proposent des questions préformatées et intégrées directement aux pages produit et catégories. En ciblant proactivement les interrogations potentielles des visiteurs, comme des informations sur la composition ou des conseils d’utilisation, ils simplifient l’accès aux réponses essentielles dès l’arrivée sur le site et facilitent l’engagement des clients dans le tunnel de conversion. En savoir plus.

L’incrément de valeur apporté par iAdvize peut être mesuré à travers :

Le taux d’ajout au panier
Le taux de conversion
Le revenu par session ou par visiteur

Le principe du test :

Groupe A : visiteurs non exposés à iAdvize
Groupe B : visiteurs exposés à iAdvize

Les visiteurs des groupes A et B doivent être restreints aux visiteurs “éligibles” à un affichage iAdvize.

Ce guide vous permet de configurer un test A/B iAdvize via la plateforme Kameleoon, sur votre site web, peu importe l’appareil utilisé (desktop, mobile, tablette).

⚠ Ce guide n’aborde pas la configuration de tests A/B sur app mobile.
⚠ Ce guide ne permet pas de configurer un test A/B sur la performance des autres types de notifications iAdvize (il s’agit uniquement des Conversation Starters)

Prérequis techniques

Configuration de Kameleoon

Kameleoon est correctement installé sur votre site
Les objectifs clés sont configurés : ajout au panier, conversion, panier moyen, revenu par visiteur
Un visiteur n’entre dans un test A/B qu’après avoir donné son consentement via la CMP

👉 Besoin d’aide ? Contactez votre CSM Kameleoon

Configuration d’iAdvize

iAdvize est bien installé sur votre site
Les visiteurs peuvent interagir avec les notifications iAdvize appelées “Conversation Starters” et démarrer une conversation avec le Copilot.

👉 Besoin d’aide ? Contactez votre CSM iAdvize ou le support client

Les conditions pour un test réussi

Un test A/B est concluant lorsqu’il démontre une amélioration statistiquement significative sur un KPI clairement défini, avec des résultats fiables et sans biais. Voici quelques recommandations :

1. Définir un objectif clair

Quel KPI souhaitez-vous améliorer via iAdvize ?
Quel est le gain minimum attendu sur ce KPI (en %) ?

2. Optimiser l’expérience des utilisateurs éligibles en amont du test

Avant lancement, pour révéler pleinement la valeur ajoutée d’iAdvize, il est essentiel de :

Valider l’UX des Conversation Starters sur les pages produits (consulter nos conseils)
Valider l’UX post-conversation tout le long du parcours utilisateur (s’assurer qu’iAdvize ne cache pas de CTA stratégiques sur les autres pages du site et sur les pages de checkout)
Vérifier la qualité des contenus (knowledges) sur lesquelles se basent la génération des questions affichées
S’assurer de la pertinence des réponses du Copilot

👉 Besoin d’aide ? Contactez votre CSM iAdvize ou le support client

3. Configurer un test bien calibré

Pour garantir la validité statistique du test et optimiser sa durée, il faut :

2 groupes : avec iAdvize / sans iAdvize
Répartition 50/50 du trafic
Aucun autre test ne tourne en parallèle
100% du trafic éligible est dédié à ce test
La durée du test est fixée à l’avance et adaptée au trafic

Durée minimale recommandée selon le trafic mensuel éligible* à iAdvize :

Visiteurs éligibles à iAdvize (/mois)	Durée de test minimum recommandée
180 K ou plus	1 mois
90 K	2 mois
< 90 K	Le test aura peu de chances d’être concluant sur un volume trop faible de visiteurs

Hypothèses : répartition 50/50, gain minimum à détecter de 5% sur un taux de conversion de 4% (erreur alpha 10%, erreur bêta 30%). Le taux de conversion est calculé sur la base des visiteurs éligibles à iAdvize.

Pour mener votre propre analyse, vous pouvez utiliser le simulateur Kameleoon.

*Comment évaluer le nombre mensuel de visiteurs éligibles à iAdvize ?

iAdvize est implémenté sur toutes vos pages produit ?

👉 le nombre de visiteurs éligibles correspond au nombre de visiteurs uniques mensuels qui :

ont consulté au moins une page produit
ont accepté le dépôt des cookies via la bannière CMP

iAdvize est implémenté sur les pages produit de quelques catégories ?

👉 le nombre de visiteurs éligibles correspond au nombre de visiteurs uniques mensuels qui :

ont consulté au moins une page produit de ces catégories
ont accepté le dépôt des cookies via la bannière CMP

4. Faire une recette approfondie avant et après lancement

Pour garantir un test A/B robuste, vérifiez :

La répartition entre les groupes (50/50)
L’expérience des visiteurs du groupe "avec iAdvize" et le bon affichage des notifications iAdvize sur tout le parcours de navigation
L’expérience des visiteurs du groupe "sans iAdvize" sur l’ensemble des pages du site

Configuration du test

Créer un trigger

Rendez-vous sur https://app.kameleoon.com/triggers/dashboard
Créer un nouveau trigger. Nous le nommons ici : Affichage d’un engagement iAdvize. Ce trigger sera utilisé lors du ciblage. Il permet de vérifier toutes les X secondes s’il y a l’affichage d’un Conversation Starter iAdvize.
Choisissez Condition JavaScript personnalisée.
Choisissez Exécuter la condition de manière asynchrone
Saisissez le code suivant :

window.iAdvizeInterface = window.iAdvizeInterface || [];
window.iAdvizeInterface.push(function (iAdvize) {
  iAdvize.on('engagementNotification:displayed', function (notification) {
    if (notification.type == 'EMBEDDED_CONVERSATION_STARTER') {
      setTargeting(true);
    }    
  });
});