Citat:
Originalno napisao xippi
Што се саме приватности тиче, да не понављам аспект крајњег корисника, зар не мислите да су сви ти сајтови подесили свој robots.txt управо да не би били индексирани?
|
Ovo stoji. Mislim da je njihova pogrešna premisa iz prethodnih postova da je neki sajt blokirao Googlebot ili Vast_bot u robots.txt zato što se plaši velikog bandwidtha ili opterećenja servera ili neke treće više sile. Ali ja pre verujem da ovakvi sajtovi zapravo ne žele da ih indeksira niti jedan bot jer im se tako može i žele lojalne korisnike koji će namenski dolaziti na njihov sajt direktno a ne preko Googla. Ništa osim dobre volje i pravila lepog ponašanje ne sprečava ni Google ni Yahoo da ne poštuju robots.txt pravila.