GPTBot, ClaudeBot in robots.txt: vodnik po UI pajkih 2026

UI pajki so avtomatizirani boti, ki jih OpenAI, Anthropic, Perplexity, Google in Microsoft pošiljajo brat vaše spletno mesto za tri ločene naloge: učenje modelov, gradnjo iskalnih indeksov in pridobivanje strani v živo, ko uporabnik nekaj vpraša. Vsak bot uboga svoj žeton v robots.txt, zato lahko blokada napačnega tiho odstrani vaše mesto iz odgovorov UI. In kot so decembra 2024 pokazali testi Vercela z Merjem, noben od velikih UI pajkov ne izvaja JavaScripta: vidijo tisto, kar strežnik pošlje kot HTML.

Zakaj so UI pajki pomembni za vašo vidnost?

Ker je prepajkanost vstopnica: če iskalni bot UI vaše strani nikoli ne prebere, je ChatGPT, Claude ali Perplexity ne more citirati. Po podatkih Cloudflara (julij 2025) je skupni promet UI in iskalnih pajkov med majem 2024 in majem 2025 zrasel za 18 %. Delež GPTBota v tem prometu je poskočil z 2,2 % na 7,7 % — to je 305 % več — medtem ko se je Googlebot dvignil s 30 % na 50 %, ClaudeBot pa padel z 11,7 % na 5,4 %. Delež Bingbota je znašal okoli 8,7 %.

Večina lastnikov spletnih mest se na to ni odzvala. V isti študiji je imelo le 14 % od 3.816 analiziranih vrhunskih domen direktive robots.txt, namenjene UI botom, GPTBot pa je bil najpogosteje blokiran posamezni bot (312 domen). Prepajkanost je prvi korak; pretvorba obiskov pajkov v citate je druga zgodba, ki jo razčlenimo v zapisu o tem, kako motorji UI izbirajo, koga citirajo.

Katere tri vrste UI botov obstajajo?

Vsak dokumentirani UI pajek opravlja eno od treh nalog: učenje modela, iskalno indeksiranje ali pridobivanje strani v živo na pobudo uporabnika. Razlika ni akademska, saj vsaka vrsta prinaša drugačen kompromis, robots.txt pa vam omogoča, da z njimi ravnate ločeno.

Po podatkih Cloudflara (avgust 2025) učenje modelov predstavlja približno 79–80 % dejavnosti UI botov (s 72 % julija 2024), iskanje 17 % in uporabniška dejanja 3,2 %. Kategorija uporabniških dejanj raste najhitreje: Cloudflarov Radar Year in Review 2025 je izmeril, da je pridobivanje strani na pobudo uporabnika v letu 2025 zraslo za več kot 15-krat, ChatGPT-User pa je dosegel vrh pri do 16-kratniku vrednosti z začetka leta.

Spodaj je celoten seznam dokumentiranih botov in tega, kaj blokada vsakega dejansko pomeni:

Bot	Upravljavec	Naloga	Če ga blokirate v robots.txt	Izvaja JS
GPTBot	OpenAI	Učenje modelov	Vsebina je izključena iz učnih naborov OpenAI	Ne
OAI-SearchBot	OpenAI	Iskalni indeks ChatGPT	Vaše mesto se ne more več pojaviti v iskalnih rezultatih ChatGPT	Ne
ChatGPT-User	OpenAI	Pridobivanje v živo na zahtevo uporabnika	Morda ne velja — obiske sproži uporabnik	Ne
OAI-AdsBot	OpenAI	Preverja pristajalne strani oglasov	—	Ni testirano
ClaudeBot	Anthropic	Učenje modelov	Prihodnje gradivo je izključeno iz učnih naborov za Clauda	Ne
Claude-SearchBot	Anthropic	Iskalni indeks Clauda	Nižja vidnost v iskalnih rezultatih Clauda	Ni testirano
Claude-User	Anthropic	Pridobivanje v živo na zahtevo uporabnika	Claude med pogovori z uporabniki ne more več pridobiti vaših strani	Ni testirano
PerplexityBot	Perplexity	Iskalni indeks (ne učenje)	V rezultatih Perplexityja ne morete biti več prikazani ali povezani	Ne
Perplexity-User	Perplexity	Pridobivanje v živo na zahtevo uporabnika	Praviloma ignorirano, po dokumentaciji Perplexityja	Ni testirano
Google-Extended	Google	Žeton, ki nadzoruje učenje Gemini in grounding	Brez učenja in groundinga za Gemini; iskalnik Google ostane nespremenjen	ni relevantno
Bingbot	Microsoft	Indeks Bing; po poročanju napaja tudi odgovore Copilota *	Hkrati zapustite Bing in — po poročanju — Copilota *	Ni testirano

Nameni so povzeti po uradni dokumentaciji posameznega ponudnika (2026), z izjemo vrstice Bingbot (*): njegovo povezavo s Copilotom povzemamo iz dokumentacije Bing Webmaster Tools prek sekundarnih virov — primarne strani nam ni uspelo odpreti, zato jo obravnavajte kot poročano, ne kot preverjeno. Stolpec o JavaScriptu odraža Vercelove teste s konca leta 2024, netestirani boti pa so označeni kot taki.

Katere pajke poganja OpenAI in kaj nadzoruje vsak?

OpenAI dokumentira štiri pajke, vsak s svojim žetonom v robots.txt, nizom uporabniškega agenta in objavljenimi razponi IP, kot navaja dokumentacija pajkov OpenAI (2026):

1. GPTBot (uporabniški agent GPTBot/1.4, naslovi IP objavljeni na openai.com/gptbot.json) zbira vsebino za učenje modelov. Direktiva Disallow vaše mesto izključi iz učnih naborov OpenAI.
2. OAI-SearchBot (OAI-SearchBot/1.4) poganja iskanje v ChatGPT. Prav dovoljenje zanj omogoča, da se vaše mesto pojavi v iskalnih rezultatih ChatGPT; OpenAI opozarja, da lahko obdelava sprememb robots.txt traja približno 24 ur.
3. ChatGPT-User (ChatGPT-User/1.0) pridobiva strani med pogovori z uporabniki. Ker vsak obisk sproži človek, OpenAI navaja, da robots.txt zanj morda ne velja.
4. OAI-AdsBot preverja pristajalne strani oglasov.

Nastavitve so med boti neodvisne. Praktična posledica: učenje pri OpenAI lahko zavrnete in obdržite polno vidnost v iskanju ChatGPT — gre za ločena vzvoda.

Kaj počnejo ClaudeBot, Claude-SearchBot in Claude-User?

Anthropic dokumentira tri pajke, ki vsi spoštujejo robots.txt, kot navaja center za pomoč Claude (2026). ClaudeBot zbira spletno vsebino, ki se lahko uporabi za učenje modelov Claude, in podpira direktivo Crawl-delay. Claude-SearchBot indeksira strani, da izboljša kakovost iskalnih rezultatov Clauda. Claude-User do strani dostopa takrat, ko uporabnikovo vprašanje Claudu to zahteva.

Blokada vsakega bota ima svoj učinek in potrebuje svoj vnos v robots.txt. Anthropic navaja, da naj bi bilo po direktivi Disallow za ClaudeBot prihodnje gradivo izključeno iz učnih naborov njihovih modelov. Objavljeni razponi IP so na claude.com/crawling/bots.json, tako da lahko preverite, ali je promet, ki se predstavlja kot Claude, res njegov.

Ali Perplexity spoštuje robots.txt?

Njegov deklarirani pajek ga, njegov uporabniški agent pa ne rabi. Po dokumentaciji pajkov Perplexity (2026) PerplexityBot (PerplexityBot/1.0, naslovi IP na perplexity.com/perplexitybot.json) indeksira strani zato, da mesta prikaže in nanje poveže v rezultatih — ne za učenje modelov — in spoštuje robots.txt. Perplexity-User skrbi za obiske, ki jih sproži uporabnik, in z besedami samega Perplexityja »praviloma ignorira pravila robots.txt«, ker vsako zahtevo sproži človek.

Obstaja tudi dokumentirana težava z verodostojnostjo. Cloudflare je 4. avgusta 2025 Perplexity obtožil prikritega pajkanja: nedeklariran, generični uporabniški agent Chrome je poleg 20–25 milijonov zahtev deklariranega pajka ustvaril 3–6 milijonov zahtev na dan, pri tem rotiral naslove IP in številke ASN, da bi se izognil blokadam, ter na testnih domenah ignoriral robots.txt. Cloudflare je Perplexity odstranil s seznama preverjenih botov. Nauk je splošen: robots.txt je vljudnostna prošnja, ne tehnična ovira.

Je Google-Extended pajek in ali Bingbot napaja Copilot?

Google-Extended sploh ni pajek. Je samostojen produktni žeton za robots.txt brez lastnega uporabniškega agenta — pajkanje opravijo obstoječi Googlovi agenti. Žeton nadzoruje, ali se sme vaša vsebina uporabiti za učenje prihodnjih modelov Gemini (Gemini Apps in Vertex AI) ter za grounding, kot navaja Googlova dokumentacija pajkov (2026):

»Google-Extended ne vpliva na vključenost mesta v iskalnik Google in se ne uporablja kot signal za uvrščanje.« — Google for Developers, 2026

Lastniki spletnih mest so opazili, kako poceni je ta kompromis: Cloudflarov Radar Year in Review 2025 je ugotovil, da so se direktive allow za Google-Extended med letom 2025 potrojile, medtem ko so GPTBot, ClaudeBot in CCBot vodili seznam najpogosteje popolnoma blokiranih botov.

Bingbot je nasproten primer — s pridržkom glede naše lastne dokazne podlage. Kot iz druge roke povzemamo po dokumentaciji Bing Webmaster Tools, strani, ki je nismo mogli neposredno odpreti in preveriti, isto pajkanje Bingbota napaja tako iskalni indeks Bing kot odgovore UI v Microsoft Copilotu, Microsoft pa objavlja preverjene naslove IP v bingbot.json in priporoča preverjanje prek DNS. To označujemo kot poročano, ne kot potrjeno. Iz prve roke je dokumentiran uradni uporabniški agent — Chromu podoben niz, ki vsebuje bingbot/2.0, z mobilno različico —, ki ga je Microsoft objavil 28. aprila 2022. Če slika skupnega pajkanja drži, potem tu — drugače kot pri OpenAI ali Anthropicu — ni ločenega vzvoda: vidnost v Bingu in izpostavljenost v Copilotu prideta v paketu.

Koliko UI boti pajkajo — in koliko prometa vrnejo?

Pajkajo veliko, napotijo malo. Konec leta 2024 je Vercel v svojem omrežju izmeril mesečne količine: GPTBot je opravil 569 milijonov zahtev, Anthropicov Claude 370 milijonov, AppleBot 314 milijonov in PerplexityBot 24,4 milijona — skupaj približno 20 % od 4,5 milijarde zahtev Googlebota v istem obdobju.

Ista študija je pokazala, da so UI pajki presenetljivo neučinkoviti: ChatGPT je 34,82 % svojih zahtev porabil za strani 404 in Claude 34,16 %, v primerjavi z 8,22 % pri Googlebotu. ChatGPT daje prednost HTML (57,70 % zahtev), Claude pa se nagiba k slikam (35,17 %).

Otrezniti zna del o napotitvenem prometu. Cloudflarova razmerja crawl-to-refer — prepajkane strani na vsak napoteni človeški obisk — izvirajo iz dveh različnih zapisov, ki merita različna izseka, zato je vsak stolpec označen s svojim:

Upravljavec	Vsa spletna mesta — Cloudflare, 29. avg. 2025 (obdobje jul. 2025)	Novičarski založniki — Cloudflare, 28. avg. 2025
Anthropic	38.066:1	2.500:1
OpenAI	1.091:1	152:1
Perplexity	195:1	32,7:1
Google	5,4:1	—

»… je julija 2025 še vedno prepajkal 38.000 strani na vsak napoteni obisk strani.« — Cloudflare o Anthropicu, 29. avgust 2025

Po Cloudflarovi razčlenitvi po panogah (avgust 2025) ClaudeBot in GPTBot skupaj predstavljata skoraj polovico opaženega UI pajkanja, v novičarskem sektorju pa ChatGPT-User doseže 14,9 % pajkanja — znak močnega povpraševanja resničnih uporabnikov. Strateško branje za malo podjetje: vidnost v UI se danes izplača v citatih in prisotnosti blagovne znamke, ne v množičnih klikih.

Ali UI pajki izvajajo JavaScript?

Ne — noben od velikih UI pajkov ne izvaja JavaScripta. Študija podjetja Vercel skupaj z Merj (december 2024) jih je preizkusila neposredno:

»ChatGPT in Claude ne izvajata JavaScripta.« — Vercel, december 2024

JavaScripta niso izrisali ne GPTBot, OAI-SearchBot in ChatGPT-User, ne ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider ali CCBot. To sta počela le Gemini — prek infrastrukture Googlebota — in AppleBot. Boti datoteke JavaScript še vedno prenesejo (11,50 % zahtev ChatGPT, 23,84 % Claudovih), le pognali jih nikoli ne.

Posledica je neizprosna: če se vaše cene, opisi izdelkov ali pogosta vprašanja vstavljajo na strani odjemalca, so za UI asistente nevidni. Ključna vsebina mora priti v odgovoru HTML s strežnika, prek strežniškega izrisovanja ali statične generacije. To je ista disciplina, ki jo nagrajuje klasično iskanje — glejte temelje tehničnega SEO — in prva stvar, ki jo preverimo v tehničnem pregledu SEO.

Kako nastaviti robots.txt za UI bote?

Bot za botom, vrstico za vrstico — enotnega stikala za UI ni. Disallow za GPTBot blokira le OpenAIjev učni pajek in pusti OAI-SearchBot pri miru; Disallow za ClaudeBot ne vpliva na Claude-SearchBot ali Claude-User. OpenAI in Anthropic oba opozarjata, da blokada njunih iskalnih botov zmanjša vašo vidnost in citiranost v njunih odgovorih.

Razumno izhodišče za večino malih podjetij: dovolite iskalne in uporabniške bote, nato pa se premišljeno odločite o učnih botih.

# Možnost A — privzeto: dovoli vse (vnosi za UI niso potrebni)

# Možnost B — blokiraj učenje modelov, ohrani vidnost v iskanju UI
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Možnost C — namesto blokade omeji hitrost učnih botov
# (Anthropic za ClaudeBot dokumentira podporo za Crawl-delay)
User-agent: ClaudeBot
Crawl-delay: 1

Dve operativni podrobnosti. Prvič, OAI-SearchBot lahko po dokumentaciji OpenAI za obdelavo posodobitev robots.txt potrebuje približno 24 ur. Drugič, vsak ponudnik objavlja sezname IP (openai.com/gptbot.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json), da lahko preverite, ali je obiskovalec, ki se predstavlja kot bot, pristen. Upoštevajte tudi, da robots.txt ureja, kdo sme pajkati; ločena datoteka llms.txt pa predlaga, kaj naj sistemi UI preberejo najprej — glejte naš vodnik po llms.txt.

Kaj storiti ta teden?

Praktičen seznam za majhno ekipo:

1. Izvozite dnevnike strežnika in v njih poiščite GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot in bingbot. Najprej izhodiščna meritev, mnenja pozneje.
2. Preverite robots.txt ob zgornji tabeli. Potrdite, da ni po nesreči blokiran noben iskalni ali uporabniški bot — spomnite se, da je imelo sploh kakšno direktivo za UI le 14 % vrhunskih domen (Cloudflare, julij 2025).
3. Odločite se glede učenja modelov. Blokada GPTBota in ClaudeBota vas ne stane vidnosti v iskanju UI: OpenAI in Anthropic imata iskanje na ločenih vzvodih. Google-Extended je drugačen kompromis — Google navaja, da to ne vpliva na vključenost ali uvrstitev v iskalniku Google, a isti žeton izklopi tudi grounding, zato je to edina blokada učenja, ki ima pripet strošek pri vidnosti v UI.
4. Preizkusite eno ključno stran z izklopljenim JavaScriptom ali jo pridobite z ukazom curl. Če glavne vsebine v surovem HTML ni, je UI pajki ne morejo videti.
5. Dnevnike ponovno preverite čez 24–48 ur, saj OpenAI navaja, da lahko OAI-SearchBot za obdelavo sprememb robots.txt potrebuje približno 24 ur.

Prav to zaporedje — izhodiščna meritev, izvedba, merjenje pred in po — izvajamo v naši storitvi vidnosti v UI, kjer je vsaka objavljena številka označena kot izmerjena, izračunana ali predpostavljena.