AI botovi čitaju naš sajt više nego Google

Pet tjedana logova na ddd.anparo.hr: AI botovi nadmašuju klasične tražilice 1,38×. Što pokazuju serverski logovi koje GA ne vidi.

Na sajtu ddd.anparo.hr, između 28. srpnja i 4. rujna 2026., stiglo je ukupno 30.591 HTTP zahtjeva. Od toga: AI botovi su napravili 982 zahtjeva, klasične tražilice 730. Omjer je 1,38 u korist AI-a.

Nitko od nas to nije nagađao. Izmjerili smo.

Zašto Google Analytics ne vidi ništa od ovoga

Google Analytics bilježi JavaScript koji se izvršava u pregledniku. Bot nema preglednik. Prema tome, GA za botove — ne postoji.

Google Search Console prikazuje samo Googleovu pretragu. Cloudflare na besplatnom planu ne daje podatke o botovima: njegov API doslovno odbija ta polja s porukom zone does not have access to the field 'botmanagementdecision', a prozor pretrage ograničen je na jedan dan.

Jedino mjesto gdje taj podatak stvarno postoji su zapisi samog poslužitelja — pristupni dnevnik koji Caddy ili Nginx ili Apache tiho pišu, a gotovo nitko ne čita.

Kako smo to izmjerili

Uključili smo bilježenje pristupa na obrnutom posredniku (Caddy) za naše stranice. Caddy piše JSON format, rotira datoteke na 50 MiB × 6, čuva 30 dana. Zaglavlja Cookie i Authorization Caddy automatski redigira u REDACTED — provjerili smo to namjernim zahtjevom prije nego što smo bilježenje pustili u produkciju.

Uz to smo napisali parser koji svaki sat sažima te zapise i ubacuje presjek u naš SEO agent. AI promet time postaje trajno izmjeren signal, a ne jednokratna analiza.

Izgradio je to DigitalBees Hive — roj autonomnih AI agenata koji grade i održavaju naše sustave.

Nalaz na ddd.anparo.hr: AI botovi ispred klasičnih tražilica

Ukupni omjer (982 naspram 730) uključuje i rubne slučajeve — Amazonbot, Applebot, CCBot i slične koji su na granici definicije „AI bota”. Pod strožim brojanjem — samo ChatGPT, Claude i Perplexity — broj pada na 831. I tada je omjer 1,17×. Teza preživljava i najstrožu definiciju.

Raspodjela po izvorima:

Bot	Zahtjevi
ChatGPT-User	376
OAI-SearchBot	261
GPTBot	89
Amazonbot	79
ClaudeBot	73
PerplexityBot	32

Jedan podatak ovdje zaslužuje posebnu pozornost: ChatGPT-User nije pretraživač koji skuplja podatke za treniranje modela. To je dohvat koji se događa u trenutku kad čovjek u razgovoru postavi pitanje, a ChatGPT odluči povući živu stranicu. Dakle — stvarni posjetitelj, samo posredovan AI sučeljem. Tih 376 zahtjeva dolazi s 263 različitih IP adresa.

Najčitanija sadržajna stranica: /dezinsekcija-zagreb/ — 85 pogodaka.

ClaudeBot se ponaša drukčije: dolazi s jedne IP adrese, prvo traži /robots.txt, zatim mapu stranice. Klasično, predvidljivo, uredno.

Obrat: 2.740 „AI botova” koji to nisu

Na drugom našem sajtu — sec.anparo.hr — pronašli smo 2.740 pogodaka koji nose nizove User-Agent poznatih AI botova. I nisu AI botovi.

Jedna IP adresa (34.12.167.78, Google Cloud infrastruktura) javljala se naizmjence kao Amazonbot, ChatGPT-User, GPTBot i ClaudeBot. Između 37% i 48% putanja po „botu” bile su: /.env, /.git/config, /.aws/config, /key.json. To je skener koji traži nezaštićene tajne — ne AI koji čita sadržaj.

User-Agent je tvrdnja, ne dokaz.

Tri signala koja razdvajaju stvarne AI botove od skenera:

Broj različitih IP adresa: ChatGPT-User ima 263 izvorne IP adrese za 376 zahtjeva. Skener ima jednu IP adresu za stotine zahtjeva pod različitim imenima.
Poštuje li /robots.txt: ClaudeBot ga traži kao prvi korak. Skener ne mari za njega.
Što traži: stvarne stranice ili konfiguraciju i tajne?

Bez te provjere svaka analiza AI prometa pogrešna je od samog početka — ili precjenjuje AI interes ili, kao u slučaju sec.anparo.hr, brka skeniranje s čitanjem.

Što s tim podatkom

Svaki sat parser sažima nove zapise i predaje ih SEO agentu. Agent od sada zna koje stranice čitaju AI sustavi i može uzeti to u obzir pri preporukama. Ne kao zamjenu za klasični SEO signal, nego kao dodatni signal koji do sada jednostavno nije postojao u cjevovodu.

Na ddd.anparo.hr, u ovom petotjednom uzorku, AI botovi su ispred klasičnih tražilica. To ne znači da je tako na svakoj stranici, niti da je trend rastući — tjedni podaci su prezašumljeni za takvu tvrdnju. Znači da se taj omjer može i mora mjeriti, jer bez mjerenja svaki zaključak o AI prometu ostaje pretpostavka.

Podatak je u pristupnom dnevniku. Uvijek je bio.

Često postavljena pitanja

Zašto Google Analytics ne vidi AI botove?

Google Analytics bilježi JavaScript koji se izvršava u pregledniku posjetitelja. AI botovi (ChatGPT-User, ClaudeBot, PerplexityBot i slični) nemaju preglednik — dohvaćaju stranicu izravnim HTTP zahtjevom. Bez izvršavanja JavaScripta nema GA događaja. Jedino mjesto gdje ti zahtjevi ostavljaju trag jesu access logovi samog poslužitelja (Nginx, Apache, Caddy i sl.).

Kako razlikovati stvarne AI botove od skenera koji lažiraju User-Agent?

Tri signala: (1) broj različitih IP-adresa — ChatGPT-User u našem uzorku dolazi s 263 različite IP-adrese za 376 zahtjeva, a skener dolazi s jedne IP-adrese pod više lažnih identiteta; (2) traži li bot /robots.txt kao prvi korak, što legitimni botovi rade; (3) koje putanje traži — stvarne sadržajne stranice ili konfiguraciju i tajne poput /.env ili /.git/config. Kombinacija ovih triju provjera eliminira veliku većinu lažnih signala.

Koliko dugo treba bilježiti logove da bi uzorak bio upotrebljiv?

U našoj analizi koristili smo pet tjedana zapisa (30.591 zahtjev ukupno) s jedne stranice. To je dovoljno za stabilne omjere između kategorija botova, ali premalo za tvrdnje o trendovima kroz vrijeme — tjedni podaci su prezašumljeni. Za prvu analizu nekoliko tjedana dovoljan je polazišni uzorak; za praćenje promjena potrebno je kontinuirano mjerenje.