Citat:
Originalno napisao ikabiljo
Za odredjeni url, u indeks se ubacuje stranica koju svako moze videti, ako otkuca taj url na proizvoljni racunar, bez ikakvog ranijeg logovanja.
|
Citat:
Originalno napisao zira
Aj da ne budem baksuz 
Iako ovaj problem vjerovatno nije moguce potpuno izbjeci, u dobrom broju slucajeva ga mozete rijesiti jednostavnim slanjem checksum-a sadrzaja uz URL sa originalnog racunara ka indekseru, uz odredjenu malu toleranciju checksuma (npr zbog banner-koda, datestamp-a i slicnih stvari).
Ako se checksumi na originalnom racunaru i indekseru znatno razlikuju, taj URL svakako ne bi trebalo indeksirati, vec potpuno zanemariti jer je vrlo vjerovatno to privatna stranica nedostupna obicnom surferu, i nema smisla listati je kao rezultat pretrage. |
Ali to opet znači da se pribjegava metodi standardnog crawlera, zato to nije dobro rješenje, a backlista je definitivno najgore moguće.