KI-Sichtbarkeit messen: Stichprobengröße und ehrliche Baselines

KI-Sichtbarkeit zu messen heißt, eine Verteilung zu bemustern, und nicht, ein Instrument abzulesen. Stellen Sie ChatGPT, Gemini oder Perplexity dieselbe Frage zweimal, erhalten Sie unterschiedliche Antworten mit unterschiedlichen Quellen. Jede Zahl aus einem einzelnen Durchlauf — Ihr Share of Voice, Ihre Zitationsrate — ist damit eine Schätzung mit Fehlerbalken, und die Fehlerbalken sind breit. Die praktische Arbeit besteht darin, festzulegen, wie viele Wiederholungen nötig sind, bevor ein Unterschied überhaupt etwas bedeutet.

Warum liefert dieselbe Frage jedes Mal eine andere Antwort?

Weil der Nichtdeterminismus im Betrieb dieser Systeme angelegt ist und nicht in einer Einstellung, die Sie abschalten könnten. Thinking Machines Lab hat 1.000 Completions bei Temperatur 0 von Qwen3-235B-A22B-Instruct-2507 gezogen, mit dem Prompt “Tell me about Richard Feynman”, je 1.000 Tokens.

“Surprisingly, we generate 80 unique completions, with the most common of these occuring 78 times.” — Thinking Machines Lab, Horace He, September 2025

Achtzig verschiedene Antworten, die alle ab Token 103 auseinanderlaufen. Die von ihnen identifizierte Ursache (September 2025) ist nicht die Temperatur, sondern die fehlende Batch-Size-Invarianz: Die Serverlast schwankt unvorhersehbar, das verändert die Reihenfolge der Fließkomma-Akkumulation, und das verändert die Ausgabe. Von außen lässt sich das nicht kontrollieren. Sie können nur wiederholt bemustern.

Die Anbieter bestätigen das, wenn auch leise. OpenAIs eigene Dokumentation (geprüft am 16. Juli 2026) verspricht bei festem Seed nur “(mostly) deterministic outputs” und warnt, dass Konfigurationsänderungen auf ihrer Seite die Ergebnisse verändern. Eine akademische Studie — arXiv:2408.04667 (August 2024), fünf Modelle darunter GPT-4o und Llama-3-70B-Instruct, acht MMLU- und BBH-Aufgaben, je zehn Wiederholungen mit temperature=0, top-p=1 und festem Seed — fand kein Modell, das 100 % Konsistenz hielt. Die Genauigkeitsunterschiede zwischen identischen Durchläufen erreichten 5 bis 15 Punkte und im Extremfall bis zu 70 Punkte (Mixtral in Hochschulmathematik: 75 % im besten, 3 % im schlechtesten Durchlauf).

Google dokumentiert dasselbe für die Suche. Laut Google Search Central: “AI Mode and AI Overviews may use different models and techniques, so the set of responses and links they show will vary.” Variabilität ist dokumentiertes Verhalten, kein Fehler, den man aussitzen sollte.

Warum ist eine einzelne Messung fast immer irreführend?

Weil Ihre Kennzahlen Stichprobenschätzungen sind, die Branche sie aber als Fakten meldet. Die klarste veröffentlichte Demonstration liefert Ronald Sielinskis Arbeit Quantifying Uncertainty in AI Visibility (arXiv:2603.08924v2, Juni 2026): 200 Anfragen je Thema über drei Themen und drei Plattformen, erhoben an neun aufeinanderfolgenden Tagen plus 25 Stichproben im Zehn-Minuten-Takt — 374.052 Zitationen im Tagesdatensatz.

“These findings show that single-run visibility metrics provide a misleadingly precise picture of domain performance in generative search.” — Sielinski, Quantifying Uncertainty in AI Visibility, Juni 2026

Sein Beispiel zu Laufausrüstung auf SearchGPT ist das, was man sich merken sollte. Über 200 Anfragen kam tomsguide.com auf 9,5 % Citation Share und runnersworld.com auf 6,0 % — ein scheinbarer Vorsprung von 3,5 Punkten. Doch die 95-%-Bootstrap-Konfidenzintervalle — ungefähr 5,5 %–12,5 % und 4,0 %–8,0 % — überlappen sich deutlich. Das ist ein statistisches Unentschieden im Kostüm einer Führung.

Zwei weitere Zahlen beziffern, wie weich der Boden ist. Eine identisch wiederholte Anfrage liefert überwiegend andere Quellen: Die mediane Jaccard-Überlappung auf Domain-Ebene beträgt 0,29–0,31 bei Gemini, 0,33–0,40 bei SearchGPT und 0,50 bei Perplexity, bei Raten identischer Zitationen von 0,01–0,10 % bei Gemini und 3–8 % bei den beiden anderen. Und die Volatilität selbst ist groß: Eine Log-Standardabweichung von 0,5 (Plattform-Mittelwerte: 0,504 Gemini, 0,421 Perplexity, 0,417 SearchGPT) bedeutet, dass der Citation Share einer Domain typischerweise zwischen rund 60 % und 165 % ihres zentralen Werts schwankt.

Sielinski berichtet mit Verweis auf Hu et al. außerdem eine Inkonsistenzrate von 33 % dabei, ob für eine bestimmte Anfrage überhaupt ein AI Overview erscheint. Wir konnten diese Zahl in der Originalquelle nicht verifizieren, behandeln Sie sie also als berichtet und nicht als gemessen — die Schlussfolgerung bleibt trotzdem: Die erste Varianzquelle ist nicht, was die Antwort sagt, sondern ob es überhaupt eine KI-Antwort gibt.

Die Regel, die man sich merken sollte: Jeder Unterschied im Citation Share unterhalb von 5 bis 7 Prozentpunkten zwischen zwei Marken ist als Unentschieden zu behandeln. Überlappende Intervalle in dieser Größenordnung sind, mit Sielinskis Worten, eher die Regel als die Ausnahme.

Wie viele Wiederholungen brauchen Sie tatsächlich?

Genug, um das Intervall schmaler zu machen als den Unterschied, der Sie interessiert — und die Arbeit veröffentlicht die Zahlen, was praktisch kein Anbieter-Blog tut.

Metrik	Zielintervall (95-%-KI)	Gemini	Perplexity	SearchGPT
Citation Share	5 Punkte breit (≈ ±2,5 pp)	~40–50 Anfragen	~100 Anfragen	≥150 Anfragen
Citation Prevalence	15 Punkte breit	~140–150 Anfragen	~140–150 Anfragen	~60–80 Anfragen

Quelle: Sielinski, §5.7, Juni 2026.

Zu dieser Tabelle gehört eine entscheidende Einschränkung. Bemustern Sie nicht so lange, bis das Intervall schmal aussieht, und hören Sie dann auf. Bei SearchGPT ist die Konvergenz nicht monoton: Die Intervallbreite verengt sich und weitet sich wieder auf. Wer an einem zufällig schmalen Punkt stoppt, berichtet eine geringere Unsicherheit als die tatsächliche. Legen Sie die Stichprobengröße vorab fest, abhängig von Plattform und Thema — und nutzen Sie das laufende Intervall nie als Abbruchkriterium.

Lässt sich ChatGPT über die OpenAI-API messen?

Sie können es, aber Sie messen damit nicht das, was Ihre Kunden sehen. Surfer SEO (Februar 2026) berichtet, dass sich nur 24 % der Marken zwischen API-Ergebnissen und gescrapten ChatGPT-Ergebnissen überschneiden und dass die Überlappung bei den zitierten Quellen auf 4 % einbricht. Bei Perplexity liegt die Quellenüberlappung zwischen API und Oberfläche bei 8 %.

Methodische Anmerkung, weil sie zählt: Surfer beschreibt “1,000 prompt executions”, ohne anzugeben, ob es sich um einzigartige Prompts oder um Wiederholungen handelt, welche Modellversionen genutzt wurden oder ob die Websuche bei den API-Aufrufen aktiviert war. Die Studie ist nicht peer-reviewed, und der Anbieter hat ein kommerzielles Interesse an dem Ergebnis. Wir veröffentlichen sie als Richtungsindiz, nicht als gemessene Zahl.

Surfers eigene Strukturdaten weisen in dieselbe Richtung, stammen aber vom selben Anbieter und aus derselben ungeprüften Studie: Die ChatGPT-API kommt im Schnitt auf 406 Wörter gegenüber 743 bei der gescrapten Oberfläche, rund 23 % der API-Aufrufe lösen nie eine Websuche aus (die Oberfläche tut es immer), rund 25 % der API-Antworten zitieren überhaupt keine Quellen (im Schnitt 7, wenn sie es tun, gegenüber 16 in der Oberfläche), und die API erkennt Marken in rund 8 % der Fälle nicht.

Welche Kennzahlen bedeuten wirklich etwas?

Trennen Sie zuerst Erwähnung und Zitation: Eine Erwähnung ist, wenn das Modell Ihren Namen schreibt; eine Zitation ist, wenn das Modell Sie als Quelle verlinkt. Andere Mechanik, andere Maßnahmen. Darüber hinaus formalisiert Sielinski drei Metriken:

1. Citation Count — absolute Zitationen auf Ihre Domain. Plattformübergreifend nicht vergleichbar.
2. Citation Share — Ihre Zitationen geteilt durch alle Zitationen. Normiert, vergleichbar.
3. Citation Prevalence — der Anteil der Antworten mit mindestens einer Zitation auf Sie. Misst die Breite der Abdeckung, nicht die Tiefe.

Alle drei sind Stichprobenschätzer und keine festen Eigenschaften des Systems. Für die Prominenz innerhalb der Antwort bietet die GEO-Arbeit (Aggarwal et al., KDD 2024, GEO-Bench mit 10.000 Anfragen) den Position-Adjusted Word Count — Wörter, die Ihrer Quelle zugerechnet werden, exponentiell nach Position abgewertet — und Subjective Impression, das sieben Dimensionen bewertet, darunter Relevanz, Einfluss, Einzigartigkeit und Klickwahrscheinlichkeit.

Eine harte Regel: Vergleichen Sie niemals absolute Zählwerte über Plattformen hinweg. Das mediane Zitationsvolumen liegt bei SearchGPT bei 5 bis 7 pro Antwort, bei Gemini bei 36 bis 40. Ein Zählwert, der bei Gemini beeindruckend wirkt, kann dort unterdurchschnittlich und bei SearchGPT hervorragend sein. Unser Vergleich der Tools für KI-Sichtbarkeit geht tiefer darauf ein, welche Plattformen welche Metrik ausweisen.

Wie bauen Sie Schritt für Schritt eine kostenlose Baseline auf?

Für den Start brauchen Sie keine Enterprise-Software, und die Google Search Console hilft Ihnen nicht weiter: Laut Google Search Central wird Traffic aus KI-Funktionen nicht separat ausgewiesen — er fließt in den Suchtyp “Web” ein. Genau diese Lücke ist der Grund, selbst zu bemustern.

1. Legen Sie 30 bis 50 echte Fragen mit Kaufabsicht fest. Vergleiche, “bestes X für Y”, “Alternativen zu Z” — die Fragen, die Ihre Kunden tatsächlich stellen, nicht die, die Sie sich wünschen.
2. Arbeiten Sie ausgeloggt. Personalisierung verunreinigt die Stichprobe.
3. Entscheiden Sie die Zahl der Wiederholungen vorab. Nutzen Sie die Tabelle oben und schreiben Sie die Zahl auf, bevor Sie starten.
4. Protokollieren Sie vier Felder je Durchlauf. Tauchen Sie auf? An welcher Position? Neben welchen Wettbewerbern? Werden Sie zitiert oder nur erwähnt?
5. Vergleichen Sie über Intervalle, nicht über Punktwerte. Liegt der Abstand unter 5 bis 7 Punkten, stehen Sie gleichauf. Sagen Sie das auch so.

Ebenfalls wissenswert: Google erklärt, dass es keine zusätzlichen Anforderungen oder speziellen Auszeichnungen gibt — keine KI-Textdateien, kein maßgeschneidertes Schema —, um in AI Overviews oder im AI Mode zu erscheinen. Wer Ihnen eine Wunderdatei verkauft, verkauft Ihnen nichts. Wenn Sie neu in der Disziplin sind, klärt unsere Einführung dazu, was GEO ist, zuerst die Grundlagen.

Was kostet API-Sampling wirklich?

Zweistellige Dollarbeträge, keine Tausenden — und dominierend ist das Websuche-Tool, nicht die Tokens. Nach der offiziellen Preisliste von OpenAI (geprüft am 16. Juli 2026): gpt-5.4-mini kostet 0,75 $ pro Million Input-Tokens und 4,50 $ pro Million Output; gpt-5.4-nano 0,20 $ und 1,25 $; gpt-5.6-luna 1,00 $ und 6,00 $. Das Websuche-Tool wird separat mit 10,00 $ pro 1.000 Aufrufe plus den abgerufenen Inhalten zu Modellpreisen abgerechnet.

BERECHNET — eine Baseline aus 50 Prompts × 30 Wiederholungen = 1.500 Aufrufe mit aktivierter Suche. Such-Tool: 1,5 × 10,00 $ = 15,00 $. Angenommen (ANGENOMMEN, nicht gemessen) ~5.000 Input-Tokens pro Aufruf auf gpt-5.4-mini — eine Zahl, die den Prompt und die abgerufenen Suchinhalte abdecken soll, die zu Modellpreisen abgerechnet werden — und ~800 Output-Tokens: 7,5 Mio. Input × 0,75 $ = 5,63 $ und 1,2 Mio. Output × 4,50 $ = 5,40 $. Summe ≈ 26 $. Prüfen Sie die Preise am Tag der Durchführung erneut; Modellnamen und Tarife in dieser Familie ändern sich häufig. Und behalten Sie im Kopf, was Sie gekauft haben: Das misst die API, nicht ChatGPT.

Was bewegt etwas, sobald die Baseline steht?

Die korrelativen Befunde deuten auf Markenbekanntheit hin, nicht darauf, wie viel Sie publizieren. Ahrefs (Dezember 2025) hat 75.000 Domains mit einem DR über 40 in ChatGPT, AI Mode und AI Overviews untersucht:

Faktor	Korrelation mit KI-Erwähnungen
YouTube-Erwähnungen	~0,737
Marken-Erwähnungen im Web	0,656–0,709
Marken-Ankertexte	0,511–0,628
Markensuchvolumen	0,352–0,466
Domain Rating	0,266–0,326
Content-Volumen (Anzahl der Seiten)	~0,194 (“almost no relationship”)

Das ist Korrelation, nicht Kausalität. Ein neuer YouTube-Kanal bringt ChatGPT nicht dazu, Sie zu zitieren; die wahrscheinlichere Lesart ist, dass YouTube-Erwähnungen und KI-Erwähnungen dieselbe zugrunde liegende Markenbekanntheit messen. Wir versprechen nichts anderes, und niemand sonst sollte das tun. Für die Einordnung, wie schnell diese Oberflächen wachsen, siehe unsere Notiz zur Verbreitung der KI-Suche.

Wann sollten Sie für ein Tool zahlen, und was sollten Sie verlangen?

Die Schwelle ist eine Rechenaufgabe: Prompts × Wiederholungen × Plattformen ÷ verfügbare Zeit einer Person. Darunter gewinnt die Tabellenkalkulation. Darüber kaufen Sie — aber nehmen Sie den Anbieter vorher ins Verhör:

• Misst das Tool das reale Produkt oder die API? (Denken Sie an die 24 %.)
• Weist es Konfidenzintervalle aus oder nur eine Zahl?
• Ist die Stichprobengröße deklariert?
• Wie hoch ist die Frequenz der Neuerhebung, und steht sie vorab fest?

Wer Ihnen einen Share of Voice ohne Fehlerbalken übergibt, verkauft Ihnen Rauschen mit Nachkommastelle.

Was sollte ein Mittelständler diese Woche tun?

Wählen Sie Ihre 30 bis 50 Fragen, entscheiden Sie die Zahl der Wiederholungen, bevor Sie das erste Ergebnis sehen, führen Sie die Abfragen ausgeloggt auf ChatGPT, Perplexity und Google aus und protokollieren Sie Erwähnung und Zitation getrennt. Wiederholen Sie dann monatlich dieselbe feste Stichprobe und vergleichen Sie Intervalle statt Punktwerte. Alles unter 5 bis 7 Punkten Bewegung ist Wetter, nicht Klima.

Wenn Sie diese Baseline lieber aufbauen und verteidigen lassen möchten: Genau das leistet unser Service für KI-Sichtbarkeit — und unsere Methode kennzeichnet jede Zahl als gemessen, berechnet oder angenommen, damit Sie jederzeit wissen, woran Sie sind.