Sakrivanje stare verzije sajta od pretrazivača
OK, potreba je sledeca:
postoji v2 verzija sajta, ali bi da se sacuva v1. Sadrzaj bi bio promenjen, tako da kontam da je ok cuvati samo index stranicu. No da skratim dugu pricu, zelim da tu v1 ne vide botovi. Jer dovoljno samo staviti to ovako: robots.txt -------------------- User-agent: * Disallow: /v/ -------------------- A u v/1/ bih drzao prvu verziju sajta. Link sa index strane (nove) ce imati onaj rel="nofow" ili kako vec atribut. Jer to dosta ? :) |
pa sto ne uradis klasican cloacking .... kad bot dodje na sajt.com/v1/index.html on ne vidi to ;) nego vidi sajt.com ....
a ovo resenje mislim da oni vise ne slusaju robots.txt :) |
Nazalost nisam bas najbolje upoznat sa tom tehnikom, ako mozes da mi malcice pojasnis, i bacis koji link.
Sa tim terminom sam se tek skoro sreo. :) |
Citat:
|
Citat:
Cloackingom nemoj da se bavis osim ako potpuno neznas sta radis... to su mutna posla i ako nemas jasan plan mozes imati vise posledica nego dobitka. |
Pretpostavljam da ce ti novi sajt biti u / a stari u /starisajt/ e pa cloaking tj 302 redirect sa /starisajt/index.php na /index.php ti donosi samo duple linkove tj. sansu za ban. Koristi robots.txt
|
Citat:
Cloacking je ustvari prikrivanje sadrzaja od pretrazivaca. Dakle imamo stranu A i stranu B, gde je strana B optimizovana za pretrazivace a strana A za prodaju, najjednostavniji cloacking bi izgledao ovako: Kôd:
if (user-agent=googlebot) |
Citat:
Inace, evo odlicnog tutorijala o tome, od ljudi koji su black-hat ali bez premca u cloakingu: http://fantomaster.com/fafaqcloak2.html Pokusavam i sam da napravim nesto slicno, prilicno je pipavo i jako puno zavisi od vrlo azurne tabele svih zivih pauka... Nixa zna o cemu pricam, prisustvovao je jednom zanimljivom razgovoru ;) |
Ma tu su indijci :)
|
@cvele
Nema veze sa cloakingom, ako je user-agent Googlebot dajes stranu /index.php a inace starisajt/index.php? (mozes i sa print BTW) ;-) |
Interesuje me jel zaista moguce popisati sve spidere? :)
I da li jos ima neko u Google, Yahoo!, Altavista, AllTheWeb, Lycos vodecoj petorci da je bitan paznje? Koliko se razlikuju tehnike indeksiranja SE? Da li robots.txt sve resava? |
da moguce je popisati sve spidere (http://www.jafsoft.com/searchengines/webbots.html)
robots.txt slusaju svi dobronamerni* spideri *oni kojima je cilj da ne nanose stetu webmasterima i hosting provajderima, ((kao i da izbegnu moguce parnice vezane za industrisku spijunazu :) )) -> da ovaj slucaj se desio 1997 kolega mi je poslao clanak o tome pre par meseci, videcu da ga iskopam ali nemojte me drzati za rec :) |
samo napomena, ovaj spisak se odnosi na spajdere koji se predstavljaju sa posebnim agent stringom...
oni za "pozajmljivanje" podataka simuliraju obicne surfere i tesko ces ih naci na nekom spisku... bavim se pravljenjem istih vec neko vreme, i ako se zna tacno koji sajt se harvestuje nema teorije da se robot provali ili zaustavi... cak ni one slicice sa textom ne pale vise posto postoje odlicni OCR alati... |
Vreme je GMT +2. Trenutno vreme je 00:54. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.