Sakrivanje stare verzije sajta od pretrazivača

[[nq]]

OK, potreba je sledeca:

postoji v2 verzija sajta, ali bi da se sacuva v1.
Sadrzaj bi bio promenjen, tako da kontam da je ok cuvati samo index stranicu.

No da skratim dugu pricu, zelim da tu v1 ne vide botovi.

Jer dovoljno samo staviti to ovako:

robots.txt
--------------------
User-agent: *
Disallow: /v/
--------------------

A u v/1/ bih drzao prvu verziju sajta. Link sa index strane (nove) ce imati onaj rel="nofow" ili kako vec atribut.

Jer to dosta ? :)

[nixa]

pa sto ne uradis klasican cloacking .... kad bot dodje na sajt.com/v1/index.html on ne vidi to ;) nego vidi sajt.com ....

a ovo resenje mislim da oni vise ne slusaju robots.txt :)

[[nq]]

Nazalost nisam bas najbolje upoznat sa tom tehnikom, ako mozes da mi malcice pojasnis, i bacis koji link.

Sa tim terminom sam se tek skoro sreo. :)

[Srpko]

']
Jer to dosta ? :)

Sasvim dosta :)

[cvele]

pa sto ne uradis klasican cloacking .... kad bot dodje na sajt.com/v1/index.html on ne vidi to ;) nego vidi sajt.com ....

a ovo resenje mislim da oni vise ne slusaju robots.txt :)

Svi slusaju robots.txt ... to je osnova

Cloackingom nemoj da se bavis osim ako potpuno neznas sta radis... to su mutna posla i ako nemas jasan plan mozes imati vise posledica nego dobitka.

[bojan_bozovic]

Pretpostavljam da ce ti novi sajt biti u / a stari u /starisajt/ e pa cloaking tj 302 redirect sa /starisajt/index.php na /index.php ti donosi samo duple linkove tj. sansu za ban. Koristi robots.txt

[cvele]

Pretpostavljam da ce ti novi sajt biti u / a stari u /starisajt/ e pa cloaking tj 302 redirect sa /starisajt/index.php na /index.php ti donosi samo duple linkove tj. sansu za ban. Koristi robots.txt

Khm... ovo bas i nema preterane veze sa cloackingom niti je 302 redirekcija zabranjena.

Cloacking je ustvari prikrivanje sadrzaja od pretrazivaca. Dakle imamo stranu A i stranu B, gde je strana B optimizovana za pretrazivace a strana A za prodaju, najjednostavniji cloacking bi izgledao ovako:

if (user-agent=googlebot)
{
print B
} else
{
print A
}

(Nema veze sa stvarnom izvedbom ili nekim programskim jezikom samo prosta sema)

[boccio]

Cloackingom nemoj da se bavis osim ako potpuno neznas sta radis... to su mutna posla i ako nemas jasan plan mozes imati vise posledica nego dobitka.
Poslusajte coveka :) Nije za igrati...

Inace, evo odlicnog tutorijala o tome, od ljudi koji su black-hat ali bez premca u cloakingu:
http://fantomaster.com/fafaqcloak2.html

Pokusavam i sam da napravim nesto slicno, prilicno je pipavo i jako puno zavisi od vrlo azurne tabele svih zivih pauka... Nixa zna o cemu pricam, prisustvovao je jednom zanimljivom razgovoru ;)

[nixa]

Ma tu su indijci :)

[bojan_bozovic]

@cvele

Nema veze sa cloakingom, ako je user-agent Googlebot dajes stranu /index.php a inace starisajt/index.php? (mozes i sa print BTW) ;-)

[sirNemanjapro]

Interesuje me jel zaista moguce popisati sve spidere? :)
I da li jos ima neko u Google, Yahoo!, Altavista, AllTheWeb, Lycos vodecoj petorci da je bitan paznje?
Koliko se razlikuju tehnike indeksiranja SE? Da li robots.txt sve resava?

[cvele]

da moguce je popisati sve spidere (http://www.jafsoft.com/searchengines/webbots.html)

robots.txt slusaju svi dobronamerni* spideri

*oni kojima je cilj da ne nanose stetu webmasterima i hosting provajderima,
((kao i da izbegnu moguce parnice vezane za industrisku spijunazu :) )) -> da ovaj slucaj se desio 1997 kolega mi je poslao clanak o tome pre par meseci, videcu da ga iskopam ali nemojte me drzati za rec :)

[ivanhoe]

samo napomena, ovaj spisak se odnosi na spajdere koji se predstavljaju sa posebnim agent stringom...

oni za "pozajmljivanje" podataka simuliraju obicne surfere i tesko ces ih naci na nekom spisku... bavim se pravljenjem istih vec neko vreme, i ako se zna tacno koji sajt se harvestuje nema teorije da se robot provali ili zaustavi... cak ni one slicice sa textom ne pale vise posto postoje odlicni OCR alati...