DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > DevProTalk > Sva početnička pitanja
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Sva početnička pitanja Sva početnička pitanja bi trebala da se postavljaju u ovom forumu, a ako se pretvori u kvalitetnu diskusiju interesantnu svima - prebacićemo je u odgovarajući forum. Molimo "znalce" da ne omalovažavaju početnike, ako žele da pomognu svi ćemo biti zahvalni, ako ne žele, neka preskoče ovaj forum.

Odgovori
 
Alati teme Način prikaza
Staro 28. 06. 2009.   #1
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default robots.txt - sprijeciti indexiranje odredjnih linkova

Zdravo.

Ne znam gdje da postavim temu, a i pitanje je dosta početničko

U robots.txt stavio sam:
Kôd:
User-agent: *
Disallow: /posalji-email-*
Cilj je bio da spriječim indexiranje linkova tipa posalji-email-neki_ID, medjutim google je indexirao već par takvih linkova.

Gdje grijesim?

Hvala i pozdrav.
mb_sa je offline   Odgovorite uz citat
Staro 28. 06. 2009.   #2
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

mislim da pretrazivaci ne prepoznaju * u Disallow.
ukratko - sa robots.txt neces uspeti to da uradis.
stavi nofollow u linkovima ka tim stranicama, a preko google webmaster tools obrisi te indeksirane stranice.
__________________
Vesti | MyCity | Igrice | Zaštita od virusa

Poslednja izmena od Peca : 28. 06. 2009. u 17:18.
Peca je offline   Odgovorite uz citat
Staro 28. 06. 2009.   #3
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Stavio sam rel="nofollow" u te linkove, ali čini mi se da je google ipak prepoznao te linkove kao zabrajene jer u "URL restricted by robots.txt" u google webmasters tool pise da je zabranjeno nekih 120 linkova, a indexirano je svega nekih 10-tak takvih linkova. Ti linkovi koji su indexirani su takodjer u listi Restricted by robots.txt.

E sad se ne mogu sjetiti 100%, ali mislim da sam naknado dodao ova pravila u robots.txt pa da je google uspio da indexira 10-tak tih linkova u jednom danu.

Hvala na pomoci.

Iskren da budem nisam nikada do sada korostio google webmasters tool.

Pozdrav.
mb_sa je offline   Odgovorite uz citat
Staro 28. 06. 2009.   #4
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

https://www.google.com/webmasters/tools/home?hl=en-GB
__________________
Vesti | MyCity | Igrice | Zaštita od virusa
Peca je offline   Odgovorite uz citat
Staro 28. 06. 2009.   #5
Marko Medojevic
član
Certified
 
Avatar Marko Medojevic
 
Datum učlanjenja: 12.05.2007
Lokacija: Beograd
Poruke: 82
Hvala: 20
293 "Hvala" u 7 poruka
Marko Medojevic is on a distinguished roadMarko Medojevic is on a distinguished roadMarko Medojevic is on a distinguished roadMarko Medojevic is on a distinguished road
Pošaljite poruku preko MSN za Marko Medojevic
Default

Pattern matching

Yes, Googlebot interprets some pattern matching. This is an extension of the standard, so not all bots may follow it.

Matching a sequence of characters using *
You can use an asterisk (*) to match a sequence of characters. For instance, to block access to all subdirectories that begin with private, you could use the following entry:

User-agent: Googlebot
Disallow: /private*/

To block access to all URLs that include a question mark (?), you could use the following entry:

User-agent: *
Disallow: /*?

To block access to all URLs containing the word "private", you could use:

User-agent: *
Disallow: /*private*

Matching the end characters of the URL using $
You can use the $ character to specify matching the end of the URL. For instance, to block an URLs that end with .asp, you could use the following entry:

User-agent: Googlebot
Disallow: /*.asp$

You can use this pattern matching in combination with the Allow directive. For instance, if a ? indicates a session ID, you may want to exclude all URLs that contain them to ensure Googlebot doesn't crawl duplicate pages. But URLs that end with a ? may be the version of the page that you do want included. For this situation, you can set your robots.txt file as follows:

User-agent: *
Allow: /*?$
Disallow: /*?

The Disallow:/ *? line will block any URL that includes a ? (more specifically, it will block any URL that begins with your domain name, followed by any string, followed by a question mark, followed by any string).

The Allow: /*?$ line will allow any URL that ends in a ? (more specifically, it will allow any URL that begins with your domain name, followed by a string, followed by a ?, with no characters after the ?).

Izvor:
http://www.google.com/support/webmas...n&answer=40367
Marko Medojevic je offline   Odgovorite uz citat
2 članova zahvaljuje Marko Medojevic za poruku:
Staro 28. 06. 2009.   #6
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

ovo meni treba
tnx.
__________________
Vesti | MyCity | Igrice | Zaštita od virusa
Peca je offline   Odgovorite uz citat
Staro 14. 05. 2010.   #7
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Zna li neko zasto Google indexira stranice u kojima je u okviru head tagova stavljeno <meta name="robots" content="noindex" /> ?

Format tih adresa je:
http://domen.com/forum/viewtopic.php...t=0&view=print

I u robots.txt sam stavio Disallow: /forum/*&start=0&view=print i Disallow: /forum/*view=print ali dzaba, jer u Google Webmasters Centar pod 'Restricted by robots.txt' ih nema.

Imali li kakva fora za masnovo slanje zahtijevaza birsanje u Google Webmasters Centru, tipa da obrise sve linkove koje u sebi sadrze 'print' ili se mora jedan po jedan ?

EDIT: I kada posaljem zatijev da se ukloni iz pretrage jedan od tih linkova, oni budu ukoljeni, a inace da bi bili uklonjeni moraju biit ili 404 ili noindex ili restriced by robots.txt

Poslednja izmena od mb_sa : 14. 05. 2010. u 22:59.
mb_sa je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
robots.txt GaVrA (X)HTML, JavaScript, DHTML, XML, CSS 4 14. 11. 2008. 20:34
Drupal robots.txt ne radi kako treba BluesRocker Marketing i SEO 2 12. 08. 2008. 00:18
Statistike Awstats Robots/Spiders visitors novi Sva početnička pitanja 4 28. 01. 2008. 13:12
robots-nocontent tag Eniac Marketing i SEO 0 03. 05. 2007. 12:33
Google indexiranje foruma kao php nuke modula bukovski Marketing i SEO 4 11. 11. 2006. 09:47


Vreme je GMT +2. Trenutno vreme je 20:35.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.