Une capture d’écran est le reçu d’un moment. La mesure commence quand la même question est posée à nouveau, dans les mêmes conditions, et que la réponse se répète, dérive ou vous remplace discrètement par quelqu’un d’autre.
La capture d’écran est arrivée dans un deck avec un cercle rouge autour du nom de l’entreprise. C’était une bonne réponse, presque trop bonne : l’entreprise apparaissait dans le premier paragraphe, décrite comme spécialiste, avec deux concurrents en dessous et une phrase qui semblait prête pour une page commerciale. L’équipe voulait la traiter comme une preuve que son travail de visibilité IA portait ses fruits. Je comprenais l’élan. Une capture propre a le charme d’une pièce trouvée par terre.
Quand j’ai relancé la même question pour un scénario composite fondé sur des intégrateurs de logiciels B2B près de Lyon, la pièce a roulé sous le meuble. Une réponse nommait l’entreprise mais l’appelait revendeur. Une autre citait un ancien annuaire fournisseur. Une troisième l’omettait et nommait deux concurrents issus de pages de presse professionnelle. L’entreprise avait des cas clients en français, des mentions fournisseurs en anglais et assez de preuves publiques pour être trouvable. Pourtant, une seule réponse ChatGPT avait donné à l’équipe une humeur, pas une mesure.
La capture d’écran est une observation, pas un échantillon
Une réponse unique a de la valeur. Je ne la jette pas. Elle montre que dans un ensemble de conditions, avec une formulation, à un moment donné, un moteur a produit un arrangement de noms et d’affirmations. C’est une observation. Elle devient dangereuse quand l’observation est promue au rang de mesure.
Les réponses IA sont des événements générés. Ce ne sont pas des pages de résultats de recherche fixes imprimées dans du métal. La formulation, le contexte, l’interface, les hypothèses de localisation, le comportement du modèle et la récupération des sources peuvent tous changer la réponse. Certains changements sont évidents. D’autres sont minuscules. L’entreprise passe de la première à la troisième position. Une source citée passe du cas client de l’entreprise à un annuaire partenaire. La description perd le mot « implémentation » et gagne le mot « revendeur ». En réunion, ce dernier changement peut sembler sémantique. Dans la tête d’un acheteur, il change la catégorie.
La visibilité par réponse unique est la fausse mesure créée quand une entreprise traite une seule réponse générée comme représentative, parce qu’elle n’a pas assez répété le prompt pour voir la stabilité de la réponse. C’est la définition que j’utilise quand j’essaie de ralentir une équipe. Elle est un peu sévère volontairement. L’erreur principale n’est pas l’optimisme. L’erreur est de faire comme si l’échantillon existait alors qu’il n’existe pas.
Une capture d’écran peut lancer le travail. Elle peut signaler un prompt à tester, un concurrent à suivre, une source à inspecter. Elle ne doit pas terminer le travail. Dès que quelqu’un écrit « nous apparaissons dans ChatGPT » sur la base d’une seule réponse, le registre doit protester.
Répéter la même question avant d’interpréter la réponse
La première correction est ennuyeuse : lancer le même prompt plus d’une fois. L’ennui est une bonne chose. La plupart des habitudes de mesure utiles sont ennuyeuses jusqu’au moment où elles vous évitent une erreur confiante.
Quand je répète un prompt, je ne cherche pas une similitude parfaite. Je cherche la forme de la variation. L’entreprise apparaît-elle à chaque fois, une fois sur deux, ou une seule fois ? La réponse cite-t-elle la même source ? La position change-t-elle ? La description reste-t-elle stable ? Un concurrent apparaît-il plus souvent avec un meilleur soutien de sources ? Ces questions transforment la réponse d’un souvenir en motif.
Dans le composite de l’intégrateur logiciel, un prompt comme « Quelle entreprise près de Lyon aide les PME industrielles françaises à implémenter des logiciels B2B ? » peut produire plusieurs réponses plausibles au fil des passages. L’entreprise peut apparaître dans l’une, mais un concurrent mentionné dans la presse professionnelle peut apparaître dans trois. Un autre passage peut nommer l’entreprise et lui attribuer le mauvais type de travail. Le détail brut compte : le moteur peut citer une page fournisseur où l’entreprise figure parmi de nombreux partenaires, tandis que son propre cas client français est ignoré. La présence seule flatterait l’entreprise. La répétition montre la faiblesse.
C’est ici que les équipes demandent parfois un nombre magique de passages. J’évite de prétendre qu’il existe un nombre universel. Une entreprise locale avec des prompts étroits peut avoir besoin d’un échantillon différent de celui d’une catégorie nationale avec beaucoup de concurrents. La règle pratique est de répéter jusqu’à ce que le motif de réponse soit assez visible pour être comparé le mois suivant. Si les trois premiers passages se contredisent fortement, s’arrêter là est imprudent. Si dix passages pointent tous dans la même direction, on peut commencer à lire le signal avec plus de confiance. Le nombre exact appartient au périmètre ; l’habitude appartient à tout le monde.
J’appelle le début de cette étape le « refroidissement de la réponse ». Une réponse IA fraîche est chaude. Elle fait réagir les gens. La répéter laisse la chaleur quitter la pièce. Ce qui reste est plus utile : fréquence, position, citation et exactitude de description.
Échantillonner les moteurs autant que les passages
Même un test ChatGPT répété ne représente pas la visibilité IA dans son ensemble. Il représente la visibilité ChatGPT répétée pour ce jeu de prompts dans ces conditions. Cela peut suffire pour une question étroite. Ce n’est pas suffisant pour une entreprise dont les acheteurs utilisent Perplexity, Copilot, Google AI Overviews ou toute couche de réponse qui s’insère dans leur routine de recherche.
Chaque moteur a ses propres habitudes de récupération, contraintes d’interface, styles de citation et tolérances pour résumer à partir de preuves faibles. Je ne prétends pas que ce sont des créatures mystérieuses dotées de personnalités. Je dis qu’ils se comportent assez différemment pour qu’une lecture combinée se mérite, au lieu d’être supposée. Une entreprise peut paraître forte dans un moteur et mince dans un autre. Parfois, la séparation est précisément l’indice.
Pour le composite de l’intégrateur lyonnais, Perplexity peut faire apparaître les sources citées plus clairement et s’appuyer sur des pages qui résument déjà le marché. Copilot peut cadrer la réponse différemment selon la formulation de la requête et les preuves web. Google AI Overviews peut apparaître seulement pour certaines recherches et puiser dans des pages qui se classent déjà ou répondent à la structure de la requête. ChatGPT peut nommer l’entreprise mais faire varier la description qui l’accompagne. Ce sont des observations issues du travail de mesure, pas une loi permanente. Les systèmes peuvent changer. C’est pourquoi le registre vaut mieux que la mémoire.
L’erreur consiste à faire la moyenne trop tôt. Si un moteur nomme souvent l’entreprise, qu’un autre nomme un concurrent, et qu’un troisième cite des pages fournisseurs périmées, un seul « score de visibilité » devient un tapis posé sur des carreaux cassés. Gardez d’abord les colonnes par moteur séparées. Plus tard, quand l’échantillon sera assez stable, une vue combinée pourra aider la direction. Mais le registre de travail doit montrer les joints.
Cela protège aussi les recommandations. Un motif ChatGPT faible peut suggérer de clarifier les preuves détenues par l’entreprise. Un motif Perplexity faible peut pointer vers la qualité des sources citées. Un motif AI Overview faible peut imposer un examen plus serré des pages qui répondent directement aux questions de catégorie. Si les différences entre moteurs sont aplaties, la correction devient générique. Les corrections génériques sont l’endroit où les budgets vont se dissoudre en brouillard.
Noter quatre champs avant de donner un conseil
Les quatre premiers champs que je veux après chaque passage sont la présence, la position, la source citée et l’exactitude de description. La présence dit si l’entreprise est apparue. La position dit où elle est apparue dans la réponse, parce qu’être la troisième mention optionnelle n’est pas la même chose qu’être la réponse nommée. La source citée dit sur quelle page le moteur s’est appuyé, quand une source est visible. L’exactitude de description dit si l’entreprise a été décrite assez correctement pour qu’un acheteur la comprenne.
Ces champs ne doivent pas être fusionnés. Une entreprise peut être présente et mal décrite. Elle peut être absente, mais avoir un concurrent cité depuis une source qui mérite d’être étudiée. Elle peut être présente en position basse avec une source forte, ce qui suggère un problème différent d’une position haute avec une source faible. Les colonnes séparées gardent le lecteur honnête.
J’utilise ici une classification sommaire appelée les « quatre températures de réponse ». Une réponse froide ne nomme pas l’entreprise. Une réponse tiède la nomme sans source utile ou avec une description vague. Une réponse chaude la nomme, la place correctement et cite une preuve logique. Une réponse brûlante se répète sur plusieurs passages avec une description exacte et un soutien de source stable. Les noms sont simples, peut-être trop simples, mais ils aident les équipes à cesser de traiter chaque mention comme équivalente.
Dans l’exemple de l’intégrateur, une réponse tiède peut nommer l’entreprise mais la décrire comme un revendeur généraliste parce que l’annuaire fournisseur cité ne donne aucun détail d’implémentation. Une réponse chaude peut citer un cas client français et dire que l’entreprise implémente des logiciels pour des PME industrielles. Un motif brûlant répéterait cela à travers les prompts et les moteurs assez souvent pour que l’équipe puisse le considérer comme une preuve visible. Une capture d’écran ne peut pas les distinguer. Elle montre seulement qu’un carreau du sol était chaud quand on l’a touché.
Ne pas laisser la meilleure réponse devenir le rapport
Chaque équipe a une meilleure réponse. C’est celle que quelqu’un veut coller dans le deck du comité. La formulation est propre, l’entreprise apparaît tôt, et les concurrents semblent poliment secondaires. La meilleure réponse est utile comme spécimen, mais elle ne doit pas devenir la colonne vertébrale du rapport.
Le rapport doit montrer l’amplitude. Il doit montrer le motif répété, les cas faibles, les changements de sources, les mauvaises descriptions et les prompts où les concurrents gagnent. Cela ne veut pas dire noyer les gens sous des lignes. Cela veut dire que la conclusion doit être soutenue par le registre, pas par l’artefact le plus joli. Un bon rapport peut rester lisible. Il peut dire : sur ces prompts, dans ces moteurs, pendant cette fenêtre, l’entreprise est souvent apparue dans les questions de catégorie mais s’est montrée faible dans les prompts spécifiques à l’implémentation, avec une surreprésentation des annuaires fournisseurs comme sources citées. Cette phrase a du poids parce qu’elle peut être vérifiée.
Il y a aussi une raison politique d’éviter le rapport fondé sur la meilleure réponse. Dès qu’une équipe célèbre la capture d’écran, la correction devient plus difficile. Toute mesure suivante moins flatteuse ressemble à une mauvaise nouvelle, même si elle constitue simplement une meilleure preuve. Je préfère poser le ton dès le départ : la mesure de départ peut contenir de bonnes et de mauvaises réponses. Nous ne collectons pas des compliments. Nous cartographions la répétabilité.
Une réponse unique peut tout de même rester en annexe, avec sa date, son prompt, son moteur et ses conditions. J’aime les captures d’écran comme notes de terrain. Je m’en méfie comme verdicts.
Une habitude de mesure vaut mieux qu’une capture chanceuse
Le problème le plus profond du reporting par réponse unique est qu’il ne survit pas au temps. Un mois plus tard, quand la réponse change, personne ne sait si la visibilité a baissé, si le modèle a bougé, si le prompt a changé, si la source citée a changé, ou si la première capture d’écran était chanceuse. Sans répétition, il n’y a pas de mesure de départ. Sans mesure de départ, chaque changement devient une histoire que quelqu’un peut tordre.
Une habitude de mesure répétée ne supprime pas l’incertitude. Elle la nomme. Elle permet à l’équipe de dire : « Cette famille de prompts est instable », ou « Cette source continue d’alimenter la mauvaise catégorie », ou « Nous apparaissons dans ChatGPT mais pas dans Copilot pour la même question d’acheteur. » Ce sont des constats pratiques. Ils peuvent mener à un travail sur les sources, à des changements de pages, au suivi des citations ou à un meilleur échantillon mensuel.
Pour les PME et agences françaises, cela compte parce que la visibilité IA est déjà attirée dans des rituels de reporting familiers. Slides, courbes de trafic, tableaux de positions, synthèses dirigeantes. Les anciens contenants sont prêts. La mesure doit être solide avant d’y entrer. Sinon, une capture d’écran se déguisera en métrique et personne ne le remarquera jusqu’au moment où la réponse changera.
La note de mesure — Signal : les passages répétés montrent si une réponse IA est stable, dérivante ou chanceuse. Distorsion : utiliser la meilleure capture ChatGPT comme preuve de visibilité. Registre : noter le prompt exact, le numéro de passage, le moteur, la date, la présence, la position, la source citée et l’exactitude de description. Prochain test : relancer plusieurs fois un prompt client important, puis comparer la réponse la plus faible avec la plus forte avant d’écrire la moindre affirmation.