Citat:
Originalno napisao BluesRocker
Zatim sam sabmitovao sajt Googlu. Umesto naslovne strane sajta, Google je indeksirao <domain>/?q=user/register . I druge strane koje su disallow u robots.txt su indeksirane. Da li robots fajl uopste necemu sluzi ili ga drupal nije dobro kreirao?
|
robot.txt ti neće baš pomoći u neindexiranju stranica. Zapravo, cijela procedura oko allow i disallow stringova je malo konfuzna. Najbolje bi ti bilo pogledati ovaj video (10ak minuta), mislim da će ti onda neke stvari biti jasnije:
http://www.youtube.com/watch?v=nM2VDkXPt0I