Sakrivanje stare verzije sajta od pretrazivača - Strana 2

sirNemanjapro · 03. 04. 2006.

Interesuje me jel zaista moguce popisati sve spidere?

I da li jos ima neko u Google, Yahoo!, Altavista, AllTheWeb, Lycos vodecoj petorci da je bitan paznje?
Koliko se razlikuju tehnike indeksiranja SE? Da li robots.txt sve resava?

cvele · 03. 04. 2006.

da moguce je popisati sve spidere (http://www.jafsoft.com/searchengines/webbots.html)

robots.txt slusaju svi dobronamerni* spideri

*oni kojima je cilj da ne nanose stetu webmasterima i hosting provajderima,
((kao i da izbegnu moguce parnice vezane za industrisku spijunazu

)) -> da ovaj slucaj se desio 1997 kolega mi je poslao clanak o tome pre par meseci, videcu da ga iskopam ali nemojte me drzati za rec

ivanhoe · 04. 04. 2006.

samo napomena, ovaj spisak se odnosi na spajdere koji se predstavljaju sa posebnim agent stringom...

oni za "pozajmljivanje" podataka simuliraju obicne surfere i tesko ces ih naci na nekom spisku... bavim se pravljenjem istih vec neko vreme, i ako se zna tacno koji sajt se harvestuje nema teorije da se robot provali ili zaustavi... cak ni one slicice sa textom ne pale vise posto postoje odlicni OCR alati...

04. 04. 2006.	#13
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	samo napomena, ovaj spisak se odnosi na spajdere koji se predstavljaju sa posebnim agent stringom... oni za "pozajmljivanje" podataka simuliraju obicne surfere i tesko ces ih naci na nekom spisku... bavim se pravljenjem istih vec neko vreme, i ako se zna tacno koji sajt se harvestuje nema teorije da se robot provali ili zaustavi... cak ni one slicice sa textom ne pale vise posto postoje odlicni OCR alati... __________________ Leadership is the art of getting people to want to do what you know must be done.

Alati teme
Pogledajte verziju za štampanje Pošaljite email-om ovu stranu
Način prikaza
Linearni prikaz Prebacite u hibridni prikaz Prebacite u prikaz po temama

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
merge 2 verzije koda - cleaning up the mess	ivanhoe	Web aplikacije, web servisi i software	5	03. 06. 2010. 15:16
Čuvate li stare (stručne) časopise?	Dejan Topalovic	Opušteno	16	12. 06. 2009. 19:19
Sakrivanje dela formulara	jablan	Web design, Layout, User Interface	4	02. 04. 2009. 15:41
Redesign sajta	Goran Cirkovic	Web site, dizajn i multimedia	4	08. 12. 2007. 09:50
Sakrivanje PHP koda	dee	PHP	2	05. 01. 2007. 07:15

03. 04. 2006.	#11
sirNemanjapro Banned Expert Datum učlanjenja: 31.03.2006 Lokacija: Trnava, Čačak Poruke: 464 Hvala: 0 0 "Hvala" u 0 poruka	Interesuje me jel zaista moguce popisati sve spidere? I da li jos ima neko u Google, Yahoo!, Altavista, AllTheWeb, Lycos vodecoj petorci da je bitan paznje? Koliko se razlikuju tehnike indeksiranja SE? Da li robots.txt sve resava?

03. 04. 2006.	#12
cvele Banned Knowledge base Datum učlanjenja: 01.07.2005 Poruke: 1.598 Hvala: 206 140 "Hvala" u 89 poruka	da moguce je popisati sve spidere (http://www.jafsoft.com/searchengines/webbots.html) robots.txt slusaju svi dobronamerni* spideri *oni kojima je cilj da ne nanose stetu webmasterima i hosting provajderima, ((kao i da izbegnu moguce parnice vezane za industrisku spijunazu )) -> da ovaj slucaj se desio 1997 kolega mi je poslao clanak o tome pre par meseci, videcu da ga iskopam ali nemojte me drzati za rec