[Peca]

a najjednostavnije im je da bot na PC-u sam krstari netom, bez cookies-a...
tako sigurno nece uleteti nista privatno.

od browsera moze dobiti samo URL gde se korisnik krece.
zatim bot sam downloaduje stranicu bez cookiesa, i kraj price.
tako bi bot mogao sam da krstari dublje po sajtu, dok korisnik recimo ne koristi racunar.

jedini problem su URL adrese koje same po sebi predstavljaju autentifikaciju, tj. tajne URL adrese.
to vec ni ja nemam ideju kako resiti :S
zapravo, to bi se resilo ako bi bot od browsera dobijao samo ime domena, ne i celu URL adresu.
to bi malo vise otezalo crawling... ali ne vidim drugo resenje.