DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Poslovanje, održavanje i marketing > Marketing i SEO
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Marketing i SEO Marketing tehnike i Search Engine Optimization

Odgovori
 
Alati teme Način prikaza
Staro 11. 08. 2008.   #1
BluesRocker
profesionalac
Professional
 
Avatar BluesRocker
 
Datum učlanjenja: 21.06.2005
Poruke: 294
Hvala: 93
525 "Hvala" u 19 poruka
BluesRocker is on a distinguished roadBluesRocker is on a distinguished roadBluesRocker is on a distinguished roadBluesRocker is on a distinguished roadBluesRocker is on a distinguished roadBluesRocker is on a distinguished road
Default Drupal robots.txt ne radi kako treba

Instalirao sam drupal na jednom domenu. Drupal je automatski kreirao robots.txt sa sledecim sadrzajem:
Kôd:
# $Id: robots.txt,v 1.9 2007/06/27 22:37:44 goba Exp $
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:    http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Files
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Zatim sam sabmitovao sajt Googlu. Umesto naslovne strane sajta, Google je indeksirao <domain>/?q=user/register . I druge strane koje su disallow u robots.txt su indeksirane. Da li robots fajl uopste necemu sluzi ili ga drupal nije dobro kreirao?
__________________
/me sluša Ten Years After - Spider In My Web
BluesRocker je offline   Odgovorite uz citat
Staro 11. 08. 2008.   #2
MarioFr
novi član
Na probnom radu
 
Avatar MarioFr
 
Datum učlanjenja: 20.12.2007
Lokacija: Split
Poruke: 17
Hvala: 0
1 "Hvala" u 1 poruci
MarioFr is on a distinguished road
Pošaljite poruku preko Skype™ za MarioFr
Default

Citat:
Originalno napisao BluesRocker Pogledajte poruku
Zatim sam sabmitovao sajt Googlu. Umesto naslovne strane sajta, Google je indeksirao <domain>/?q=user/register . I druge strane koje su disallow u robots.txt su indeksirane. Da li robots fajl uopste necemu sluzi ili ga drupal nije dobro kreirao?
robot.txt ti neće baš pomoći u neindexiranju stranica. Zapravo, cijela procedura oko allow i disallow stringova je malo konfuzna. Najbolje bi ti bilo pogledati ovaj video (10ak minuta), mislim da će ti onda neke stvari biti jasnije: http://www.youtube.com/watch?v=nM2VDkXPt0I
MarioFr je offline   Odgovorite uz citat
"Hvala" MarioFr za poruku:
Staro 12. 08. 2008.   #3
mileusna
Super Moderator
Knowledge base
 
Datum učlanjenja: 21.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
mileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobar
Default

Pa ako u robots.txt stoji Disallow: /?q=user/register/ a on je indeksirao /?q=user/register sve je regularno jer se ne radi o dva ista URL-a zbog kose crte na kraju.

Idi na Google Webmasters Tools, tamo postoji alatka da kojom možeš da proveriš da li tvoj robots.txt zaista blokira ono što želiš.
mileusna je offline   Odgovorite uz citat
"Hvala" mileusna za poruku:
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
RSS ne otvara kako treba marijano (X)HTML, JavaScript, DHTML, XML, CSS 0 29. 09. 2009. 14:39
Preporuka za banku koja ce vas tretirati kako treba dinke e-Business 45 25. 10. 2008. 09:34
form action ne radi kako treba :/ Nemanja Avramović (X)HTML, JavaScript, DHTML, XML, CSS 6 29. 08. 2007. 14:16
Kako to radi Kola Dragan Varagić Marketing i SEO 21 10. 09. 2006. 19:30


Vreme je GMT +2. Trenutno vreme je 17:15.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.