Ovo je tema o kojoj na DPT nije bilo reci. Citam neke clanke u kojima se objasnjava kako proxiji, najcesce oni napravljeni sa namerom da posluze za anonimizaciju posetilaca, mada i neki namerno postavljeni, mogu stetno da uticu na SEO nekog sajta pa cak i da budu zloupotrebljeni.
Stvar je relativno prosta. Korisnik, d abi ostao anoniman sajtoviam preistupa preko nekog udalejnog proksija koji je takodje realizovan kao sajt. Obicno se pristup obavlja u formi kao sto je:
http://someproxy.com?site=http://sitetovisot.com
Proxy napravi upit ka trazenom sajtu i vrati korisniku rezultat u kome su svi linkovi izmenjeni tako da bilo koji klik na dokument ponovo pokrece upit preko proksija.
Problem nastaje ako neko na neki sajt stavi ovakav link. Toga se docepaju internet pretraivaci i pocinju da crawle-uju ciljani sajt preko proksija. Za pretrazivac to je duplirani sarzaj u odnosu na originalni sajt a to nije dozoljeno. Jednaod dva sajta (original ili proxy) mora biti izbacen iz indeksa. Ako je proxy bolje rangiran (ili vec na osnovu nekog drugog kriterijuma), originalni sajt moze da ispadne iz indeksa.
Po onome sto se moze procitati, izgleda da Google jos uvek nije nasao neko univerzalno resenje za ovaj problem iako je on poznat vise od godinu dana.
Problem sa ovim proksijima je u tome sto mogu biti zloupotrebljeni. Konkurencija moze prilicno lako da izbaci neki sajt iz igre tako sto ce netom rasiriti veli broj linkova ka sajtu, ali koji idu preko proksija.
Webmaster ne moze mnogo da uradi po ovom pitanju. Ponajbolje resenje kod dobronamernih proksiaj je da oni prosto zabrene indeksiranje sadrzaja koji isporucuju posetiocima. To bi tako i trebalo da bude kao podrazumevano jer i inace nema logike da se indeksira proksiran sadrzaj.
Sve drugo sto bi webmater sajta mogao da preduzme moze da umanji problem, ali ako neko bas ima losu nameru uvek moze da obezbedi indeksiranje proksiranog sadrzaja.
Webmaster moze da u svoj sajt ugradi prepoznavanje poznatih proxy servera i da ako dobije upit od njih, jednostavno odbiej da isporuci sadrzaj. Time ce zasigurno zastiti sajt, ali ce i izgubiti posetu od stvarnih korisnika koji koriste anonimizere.
Moze sajt da pruzi izmenjen sadrzaj koji recimo sadrzi nofollow, noindex u zaglavlju, pa na taj nacin izdjstvuje da pretrazivaci takve linkove zaobilaze. Ovo ne moze da pomogne ako se radi o zlonamernom "proksiranju", jer ce zlonamernik lako da u proxiju obrise te instrukcije za pretrazivace.
Drugi nacin je da sajt prepoznaje crawlere i da samo njima dozvoljava indeksiranje. Na stranu to sto onda mora da se redovno azurira lista crawaler-a, nista ne sprecava proksi da i on isforsira dozvolu za indeksiranje svog sadrzaja.
Moze se praviti i neka kombinaciaj pa da se prepoznaje kada crawler pristupa sjtu preko proksija i na to reagovati. To daje dobre efekte osim u slucaju zlonamernog proksiranja, er ce on prilikom preuzimanja sadrzaja isfiltrirati sve podatke koji mogu da ukazu da se radi o crawleru.
Po svemu sudeci, ovo je velika neprijatnost, kja moze biti vrlo lako zloupotrebljena, a da se ocekivati da ce tako i da bude.