Boro, hvala na pojasnjenjima i iskustvima.
Imam jos dva pitanja, oba o pravilima indeksiranja:
1. Ako je jedna od ideja da se (kako je navedeno gore) otvori mogucnost indeksiranja stranica koje inace nisu indeksirane (popularni oglasnici npr.) koji to ne dozvoljavaju standardnim metodama, zar nije realno da cete ubrzo dobiti pismo od njihovih advokata da ih stavite na globalnu blacklistu i da ih vise ne indeksirate?
2. Sto se tice robots.txt, jasno je da ima onih sto ih ne postuju. Da li vas slucaj ipak nije toliko drugaciji od ostalih ukoliko se stvari gledaju iz drugog ugla (ukoliko sam ja razumio pojasnjenja sa prethodnih strana?): Posmatrajmo racunar sa Edgios-om koji indeksira neku stranu (dakle, ne originalni posjetilac, vec racunar u mrezi koji ce stranu ubaciti u indeks) i njegovu aktivnost. To je u sustini softver koji programirano obilazi zadatu/e adresu/e u cilju indeksiranja. Pitanje je: uopsteno gledano, zasto je to drugacije o botova drugih pretrazivaca i zasto za njega ne bi trebala da veze pravila kao i za prave botove?
Hvala unaprijed i puno uspjeha
