Da ali koja je razlika onda izmedju crawl, spider i robot bot, svi su kao
neidentifikovani. Ali ipak postoji neka razlika. Negde sam procitao da su to genericki robti, a ovaj crawl konkretno da je vezan za indeksiranje. Kao sto
linkwalker skenira linkove koji su "pukli". itd.
|