Mesurer la visibilité IA : taille d'échantillon et baseline honnête

Mesurer la visibilité IA, c’est échantillonner une distribution, pas lire un instrument. Posez deux fois la même question à ChatGPT, Gemini ou Perplexity et vous obtiendrez des réponses différentes citant des sources différentes. Tout chiffre issu d’une seule exécution — votre share of voice, votre taux de citations — est donc une estimation assortie d’une marge d’erreur, et cette marge est large. Le vrai travail consiste à décider combien de répétitions sont nécessaires avant qu’un écart signifie quelque chose.

Pourquoi la même question donne-t-elle des réponses différentes à chaque fois ?

Parce que l’indéterminisme est inscrit dans le fonctionnement de ces systèmes, pas dans un réglage que l’on pourrait désactiver. Thinking Machines Lab a généré 1 000 complétions à température 0 avec Qwen3-235B-A22B-Instruct-2507 et le prompt « Tell me about Richard Feynman », de 1 000 tokens chacune.

“Surprisingly, we generate 80 unique completions, with the most common of these occuring 78 times.” — Thinking Machines Lab, Horace He, septembre 2025

Quatre-vingts réponses distinctes, toutes divergentes à partir du token 103. La cause racine qu’ils identifient (septembre 2025) n’est pas la température mais l’absence d’invariance à la taille de lot : la charge du serveur varie de façon imprévisible, ce qui modifie l’ordre d’accumulation en virgule flottante, ce qui modifie la sortie. Vous ne pouvez pas piloter cela de l’extérieur. Vous pouvez seulement échantillonner de façon répétée.

Les éditeurs le reconnaissent, à voix basse. La documentation d’OpenAI elle-même (consultée le 16 juillet 2026) ne promet que des « (mostly) deterministic outputs » lorsque vous fixez la graine, et prévient que des changements de configuration de leur côté modifient les résultats. Une étude académique — arXiv:2408.04667 (août 2024), cinq modèles dont GPT-4o et Llama-3-70B-Instruct, huit tâches MMLU et BBH, dix répétitions chacune avec temperature=0, top-p=1 et graine fixe — n’a trouvé aucun modèle maintenant 100 % de cohérence. Les écarts de justesse entre exécutions identiques ont atteint 5 à 15 points, et jusqu’à 70 points dans le cas extrême (Mixtral en mathématiques universitaires : 75 % sur sa meilleure exécution, 3 % sur la pire).

Google documente la même chose côté recherche. Selon Google Search Central : “AI Mode and AI Overviews may use different models and techniques, so the set of responses and links they show will vary.” La variabilité est un comportement documenté, pas un défaut qui se résoudra en patientant.

Pourquoi une mesure unique est-elle presque toujours trompeuse ?

Parce que vos métriques sont des estimations d’échantillon et que le secteur les publie comme des faits. La démonstration publiée la plus nette vient de Quantifying Uncertainty in AI Visibility de Ronald Sielinski (arXiv:2603.08924v2, juin 2026), une étude de 200 requêtes par thème sur trois thèmes et trois plateformes, échantillonnées sur neuf jours consécutifs plus 25 relevés à dix minutes d’intervalle : 374 052 citations dans le jeu de données quotidien.

“These findings show that single-run visibility metrics provide a misleadingly precise picture of domain performance in generative search.” — Sielinski, Quantifying Uncertainty in AI Visibility, juin 2026

Son exemple sur l’équipement de running dans SearchGPT est celui qu’il faut retenir. Sur 200 requêtes, tomsguide.com affichait 9,5 % de part de citations et runnersworld.com 6,0 % : un avantage apparent de 3,5 points. Mais les intervalles de confiance bootstrap à 95 % — approximativement 5,5 %-12,5 % et 4,0 %-8,0 % — se recouvrent largement. C’est une égalité statistique déguisée en avance.

Deux autres chiffres mesurent l’instabilité du terrain. Répéter une requête identique renvoie majoritairement des sources différentes : le recouvrement de Jaccard médian au niveau des domaines est de 0,29-0,31 sur Gemini, 0,33-0,40 sur SearchGPT et 0,50 sur Perplexity, avec des taux de citations identiques de 0,01-0,10 % sur Gemini et de 3-8 % sur les deux autres. Et la volatilité elle-même est forte : un écart-type logarithmique de 0,5 (moyennes par plateforme : 0,504 Gemini, 0,421 Perplexity, 0,417 SearchGPT) implique que la part de citations d’un domaine oscille typiquement entre environ 60 % et 165 % de sa valeur centrale.

Sielinski, citant Hu et al., rapporte par ailleurs un taux d’incohérence de 33 % sur le simple fait qu’un AI Overview apparaisse ou non pour une requête donnée. Nous n’avons pas pu vérifier ce chiffre dans la source d’origine : traitez-le comme rapporté et non comme mesuré. L’implication tient malgré tout : la première source de variance n’est pas ce que dit la réponse, c’est l’existence même d’une réponse IA.

La règle à mémoriser : tout écart de part de citations inférieur à 5-7 points de pourcentage entre deux marques doit être traité comme une égalité. Les intervalles qui se recouvrent dans cette plage sont, selon les mots de Sielinski, la norme plutôt que l’exception.

Combien de répétitions faut-il réellement ?

Assez pour rendre l’intervalle plus étroit que l’écart qui vous intéresse — et l’article publie les chiffres, ce que ne fait presque aucun blog d’éditeur.

Métrique	Intervalle visé (IC à 95 %)	Gemini	Perplexity	SearchGPT
Part de citations	large de 5 points (≈ ±2,5 pp)	~40-50 requêtes	~100 requêtes	≥150 requêtes
Prévalence de citations	large de 15 points	~140-150 requêtes	~140-150 requêtes	~60-80 requêtes

Source : Sielinski, §5.7, juin 2026.

Une réserve essentielle accompagne ce tableau. N’échantillonnez pas jusqu’à ce que l’intervalle paraisse étroit, pour vous arrêter là. Sur SearchGPT, la convergence n’est pas monotone : la largeur de l’intervalle se resserre, puis s’élargit de nouveau. Le praticien qui s’arrête à un point opportunément étroit publie une incertitude inférieure à la réalité. Fixez la taille d’échantillon à l’avance, selon la plateforme et le thème — n’utilisez jamais l’intervalle courant comme critère d’arrêt.

Peut-on mesurer ChatGPT avec l’API OpenAI ?

Vous le pouvez, mais vous ne mesurerez pas ce que voient vos clients. Surfer SEO (février 2026) rapporte que seules 24 % des marques se recoupent entre les résultats de l’API et les résultats ChatGPT récupérés par scraping, et que pour les sources citées le recouvrement s’effondre à 4 %. Sur Perplexity, le recouvrement des sources entre API et interface est de 8 %.

Note de méthode, parce qu’elle compte : Surfer décrit « 1 000 exécutions de prompts » sans préciser s’il s’agit de prompts uniques ou de répétitions, quelles versions de modèles ont été utilisées, ni si la recherche web était activée sur les appels API. L’étude n’est pas relue par les pairs, et l’éditeur a un intérêt commercial dans la conclusion. Nous la publions comme indication de direction, pas comme chiffre mesuré.

Les données structurelles de Surfer vont dans le même sens, même si elles viennent du même éditeur et de la même étude non arbitrée : l’API de ChatGPT produit en moyenne 406 mots contre 743 pour l’interface scrapée, environ 23 % des appels API ne déclenchent jamais de recherche web (l’interface le fait toujours), environ 25 % des réponses API ne citent aucune source (7 en moyenne quand elles en citent, contre 16 dans l’interface), et l’API ne détecte pas les marques dans environ 8 % des cas.

Quelles métriques ont réellement un sens ?

Commencez par séparer la mention de la citation : une mention, c’est le modèle qui écrit votre nom ; une citation, c’est le modèle qui vous met en lien comme source. Mécaniques différentes, correctifs différents. Au-delà, Sielinski en formalise trois :

1. Nombre de citations — les citations absolues vers votre domaine. Non comparable d’une plateforme à l’autre.
2. Part de citations — vos citations divisées par le total des citations. Normalisée, comparable.
3. Prévalence de citations — la fraction de réponses contenant au moins une citation vers vous. Mesure l’étendue de la couverture, pas sa profondeur.

Les trois sont des estimateurs d’échantillon, pas des propriétés fixes du système. Pour la proéminence à l’intérieur de la réponse, l’article GEO (Aggarwal et al., KDD 2024, GEO-bench de 10 000 requêtes) propose le Position-Adjusted Word Count — les mots attribués à votre source, pondérés de façon exponentiellement décroissante selon la position — et la Subjective Impression, qui note sept dimensions dont la pertinence, l’influence, l’unicité et la probabilité de clic.

Une règle sans exception : ne comparez jamais des volumes bruts entre plateformes. Le volume médian de citations va de 5-7 par réponse sur SearchGPT à 36-40 sur Gemini. Un volume qui paraît impressionnant sur Gemini peut y être sous la moyenne et excellent sur SearchGPT. Notre comparatif des outils de visibilité IA détaille quelles plateformes rapportent quelle métrique.

Comment construire une baseline gratuite, étape par étape ?

Vous n’avez pas besoin d’un logiciel entreprise pour démarrer, et la Google Search Console ne vous aidera pas : selon Google Search Central, le trafic issu des fonctionnalités IA n’est pas isolé — il est fondu dans le type de recherche « Web ». C’est précisément ce trou qui vous oblige à échantillonner vous-même.

1. Figez 30 à 50 questions réelles à intention d’achat. Comparatifs, « meilleur X pour Y », « alternatives à Z » — celles que vos clients posent vraiment, pas celles que vous aimeriez qu’ils posent.
2. Exécutez déconnecté. La personnalisation contamine l’échantillon.
3. Décidez le nombre de répétitions à l’avance. Servez-vous du tableau ci-dessus ; notez le chiffre avant de commencer.
4. Consignez quatre champs par exécution. Apparaissez-vous ? À quelle position ? Aux côtés de quels concurrents ? Êtes-vous cité ou simplement mentionné ?
5. Comparez par intervalle, pas par point. Si l’écart est inférieur à 5-7 points, vous êtes à égalité. Dites-le.

Bon à savoir également : Google indique qu’aucune exigence supplémentaire ni balisage spécial — pas de fichier texte pour l’IA, pas de schema sur mesure — n’est nécessaire pour apparaître dans les AI Overviews ou dans AI Mode. Quiconque vous vend un fichier magique ne vend rien. Si vous découvrez la discipline, notre introduction sur ce qu’est le GEO pose d’abord les fondamentaux.

Combien coûte vraiment l’échantillonnage par API ?

Des dizaines de dollars, pas des milliers — et c’est l’outil de recherche web, pas les tokens, qui domine. D’après les tarifs officiels d’OpenAI (vérifiés le 16 juillet 2026) : gpt-5.4-mini est à 0,75 $ par million de tokens en entrée et 4,50 $ par million en sortie ; gpt-5.4-nano à 0,20 $ et 1,25 $ ; gpt-5.6-luna à 1,00 $ et 6,00 $. L’outil de recherche web est facturé séparément 10,00 $ pour 1 000 appels, plus le contenu récupéré au tarif du modèle.

CALCULÉ — une baseline de 50 prompts × 30 répétitions = 1 500 appels avec recherche activée. Outil de recherche : 1,5 × 10,00 $ = 15,00 $. En supposant (SUPPOSÉ, non mesuré) ~5 000 tokens en entrée par appel sur gpt-5.4-mini — chiffre censé couvrir le prompt et le contenu de recherche récupéré, facturé au tarif du modèle — et ~800 tokens en sortie : 7,5 M en entrée × 0,75 $ = 5,63 $, et 1,2 M en sortie × 4,50 $ = 5,40 $. Total ≈ 26 $. Revérifiez les tarifs le jour où vous lancez la mesure ; les noms de modèles et les prix de cette famille changent souvent. Et souvenez-vous de ce que vous avez acheté : cela mesure l’API, pas ChatGPT.

Qu’est-ce qui fait bouger l’aiguille une fois la baseline posée ?

Les données corrélationnelles pointent vers la notoriété de marque plutôt que vers le volume de publication. Ahrefs (décembre 2025) a étudié 75 000 domaines de DR supérieur à 40 sur ChatGPT, AI Mode et les AI Overviews :

Facteur	Corrélation avec les mentions IA
Mentions sur YouTube	~0,737
Mentions web de la marque	0,656-0,709
Ancres de marque	0,511-0,628
Volume de recherche de marque	0,352-0,466
Domain Rating	0,266-0,326
Volume de contenu (nombre de pages du site)	~0,194 (« quasiment aucune relation »)

C’est une corrélation, pas une causalité. Lancer une chaîne YouTube ne fera pas citer votre marque par ChatGPT ; la lecture la plus probable est que mentions YouTube et mentions IA mesurent la même notoriété de marque sous-jacente. Nous ne promettrons pas l’inverse, et personne ne devrait le faire. Pour situer la vitesse de croissance de ces surfaces, voyez notre note sur l’adoption de la recherche par IA.

Quand faut-il payer un outil, et qu’exiger en échange ?

Le seuil est arithmétique : prompts × répétitions × plateformes ÷ le temps disponible d’une personne. En dessous, le tableur gagne. Au-dessus, achetez — mais interrogez d’abord le fournisseur :

• Mesure-t-il le produit réel ou l’API ? (Souvenez-vous des 24 %.)
• Publie-t-il des intervalles de confiance, ou seulement un chiffre ?
• La taille d’échantillon est-elle déclarée ?
• Quelle est la fréquence de rééchantillonnage, et est-elle fixée à l’avance ?

Si un prestataire vous remet un share of voice sans marge d’erreur, il vous vend du bruit avec une décimale.

Que doit faire une PME cette semaine ?

Choisissez vos 30 à 50 questions, arrêtez le nombre de répétitions avant de regarder le moindre résultat, exécutez-les déconnecté sur ChatGPT, Perplexity et Google, et consignez séparément mention et citation. Puis relancez le même échantillon fixe chaque mois et comparez des intervalles, pas des points. Tout mouvement inférieur à 5-7 points, c’est de la météo, pas du climat.

Si vous préférez qu’on construise et qu’on défende cette baseline pour vous, c’est exactement ce que fait notre service de visibilité IA — et notre méthode étiquette chaque chiffre comme mesuré, calculé ou supposé, pour que vous sachiez toujours à quoi vous avez affaire.