Zastita od spidera
Generalno me interesuje sta covek moze da uradi da spreci custom made spidere da mu pokupe podatke sa sajta, a sa druge strane da omoguci obicnim korisnicima i botovima regularno kupljenje sadrzaja?
Eliminacija po user agentu je nekad imala smisla, ali sada je manje-vise bezvredna (eventualno se moze koristiti za prepoznavanje ko bi mogao biti obican posetilac - tesko da ce neko iz dosade menjati user agent firefoxu ili tome slicno) - spider se bez problema predstavlja i kao bot i kao browser, po potrebi.
Eliminacija po IP adresi bi mozda imala najvise smisla - kada bih mogao sa sigurnoscu da znam kada je doticni korisnik napravio prethodni request, pa ako je poslednjih nekoliko zahteva napravljeno u x sekundi, uraditi nesto...
Eliminacija kroz robots.txt takodje otpada jer se oslanja na user-agent.
Mozda neki metod koji modifikuje sam sadrzaj na takav nacin da je tesko napisati spider koji moze da pohvata korektne podatke svaki put? Palo mi je na pamet da bi moglo da se uradi nesto sa javascriptom, ali bi to znacilo da ce pretrazivaci imati problema sa kupljenjem korisnog sadrzaja...
Predlozi?
__________________
"It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams
|