da moguce je popisati sve spidere (
http://www.jafsoft.com/searchengines/webbots.html)
robots.txt slusaju svi dobronamerni* spideri
*oni kojima je cilj da ne nanose stetu webmasterima i hosting provajderima,
((kao i da izbegnu moguce parnice vezane za industrisku spijunazu
)) -> da ovaj slucaj se desio 1997 kolega mi je poslao clanak o tome pre par meseci, videcu da ga iskopam ali nemojte me drzati za rec