Pregledah statistiku jednog svog posecenog foruma i nadjoh da je na prvom mestu na listi kljuceva zapretragu po kojima su posetioci dosli na forum:

"lolita anal porn raping"

Kvaka je sto te kljucne reci, ne da ne odgovaraju forumu, nego ih cak nema ni u tragovima. jos gore je sto je 30% posetilaca se pretrazivaca doslo po tom kljucu.



Kako vreme odmice, sve vise mi se cini da su pretrazivaci sve vise prestali da rade svoju osnovnu funkciju a sve vise sluze samo kao masine zaobrtanje para, najcesce prodajom magle.

Danas, kada trazis nesto na netu, vrlo cesto korisnu informaciju moras da iskopavas ispod gomile djubreta koje je raznim nasilnim metodama nametnuto pretrazivacu kao vazna inforamcija. Skoro je postalo pravilo da rezultat pretrage odmah mozes da pocnes da pregledas od trece strane, jer su prve dve pune totalno beskorinih linkova, a ono sto trazis se obicno nalazi izmedju 15 i 30 strane.

Zbog previse zloupotreba pretrazivaci koriste razne tehnike da onemoguce isto, a te tehnike uglavnom postizu da i ono sto je korisno vise ne bude tako lako pronaci. Ponekad odem na pretrazivace koji za razliku od Gogole-a ne filtriraju sadrzaj, i zacudim se koliko vise inforamcija nude. Ima vise djubreta ali i vise korisnih linkova.

Nadam se da ce se uskoro pojaviti neko saidejom kako da pomiri dva totalno suprotna pristupa internet pretrazivanju: potrebi korsinika da pronadju korisnu informaciju i potrebi vlasnika pretrazivaca i gomile firmi, da preko pretrazivaca zarade.

Pazi ako trazis "lolita anal porn raping" smatram da i netreba da dobijes zeljeni link... vec umesto toga bi trebalo da dobijes link do Laze Lazarevica :) :P

haha, to sam i ja prvo pomislio čim sam pročitao pedjin post :)

Čudno je, recimo na RC dođe bar 50% ljudi koji pretražuju "nešto država" (na primer "Car tuning israel"), a pošto na početnoj strani imam formular za registraciju u kojoj su izlistane sve države, verujem da to "zbuni" pretraživač. Eto, to je jedan (nenamerni) hack :)

Slazem se za Lazu Lazarevica, problem je sto zavrsavaju na mom sajtu, a ja na njemu i nemam tih reci... :) Preko gogleta nikako nisam uspeo da dodjem do svog sajta korsiteci navedene reci, ali nekako ipak nabodu.

Pocinjem da razmsiljam o tome da neko namerno drzi link do navedenog sajta na nekim mestima koja uticu negativno na rejting na pretrazivacima :)

Nope, nije do njega. Nesto se drugo tu desava... ja to isto imam, primetio sam jos davno. Obratite paznju na procente, jaaaako cudno...

Moj prvi guess je da ima veze sa blog spammingom, ali ne mogu bas da se zakunem u to...

E da, maltene je identicna statistika i kod mene. SKinucu log sajta pa cu u njemu daprobam da nadjem vise podataka.

Evo deo loga:


216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET / HTTP/1.1" 200 87424 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"
216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET /profile.php?mode=register& HTTP/1.1" 200 18242 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"
216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET /memberlist.php? HTTP/1.1" 200 47682 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"
216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET /profile.php?mode=viewprofile HTTP/1.1" 200 15861 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"
216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET /profile.php?mode=viewprofile&u=1067& HTTP/1.1" 200 30494 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"
216.195.50.221 - - [26/May/2006:15:43:45 -0500] "GET /profile.php?mode=viewprofile&u=1288& HTTP/1.1" 200 30319 "http://www.google.com/search?hl=en&q=lolita+anal+porn+raping&btnG=Google+Search" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519 Netscape/8.0.1"


I sve tako u krug. Svi upti koji sadrze problematicne kljucne reci dolaze sa istog IP-a. Nesto mi lici kao da neko ima kakvog trojanca koji na svaki URL koji korisnik otvori u browseru zalepi laznu referencu na google search sa datim kljucem.

U pitanju je ruski spamer

http://www.spamhaus.org/sbl/sbl.lasso?query=SBL36329

E sad, nisam siguran kako on dolazi do tvog sajta

Edit: refereri se mogu falsifikovati, ne mora da znaci da su linkovi bas sa Google

To sam i ja pretpostavio, ali ne kapiram sta spamer dobija na ovaj nacin?

Paa mozda hoce da ti vidish referer-a, tj taj search "lolita anal blablabla" da ti kliknesh na link, google ti izlista par rezultata, garantujem da ce svaki admin nasesti na foru da proveri da li se njihov sajt nalazi linkovan na par prvih skorova, dakle kliknuce na nekih par linkova i samim tim povecati hit rating samih sajtova. Recimo da mu je to mozda u nameri.

Koliko ja znam, Google ne moze niti prati klikove na rezultate pretrage

Jedino logicno je da spamer tako zeli da postigne da se u statistikama sajtova pojave linkov na pretragu na Google po zadatim kljucnim recima i da tako posredno poveca posecenost.

To je stvarno pucanj naslepo i izdaleka, ali kod spamera nema logike.

vidjao sam SEO alate kojima je fora da postavljaju gomilu upita googletu sa 'site:tvoj_domen', mozda je ovo nesto slicno ? Mada ja mislim da to ne radi..

To definitivno ima veze sa blog (comment) spamom. Kako je jedno vreme na mom blogu bilo moguće automatski postaviti komentar počeo sam da dobijam neverovatnu količinu komentara sa različitih IP adresa, a i danas mi je refferer log neupotrebljiv od silnih linkova koji se odnose na porno, farmaciju, kocku i sl. Čitav štos je u tome da kod referrer spama ebmaster klikne na link, a kod ovoga što se ovde desilo trebalo bi videti da li postoji mogućnost postavljanja komentara, i/ili koji su linkovi u refferer logu, i da li ključne reči fraza imaju veze sa rečima u nekim url-ovima koji se nalaze u refereru...

Koliko ja znam, Google ne moze niti prati klikove na rezultate pretrageMoze, kako da ne http://www.google.com/search?q=rezultati+pretrage&start=0&ie=utf-8&oe=utf-8&client=firefox-a&rls=org.mozilla:en-US:official

Godza, ne znam jel se zezas :)
Linkovi u rezultatima pretrage idu direkt na sajtove

Referral spam. Definitivno.

http://www.wired.com/news/culture/0,1284,56017,00.html

Owners of the conversational websites known as weblogs have recently noticed that their referral logs have become the newest target for spam.

Referral logs, intended to collect information on who visited a website and how they happened to arrive there, are being stuffed with bogus links. Curious bloggers who click on a logged link to see who visited their site are instead led to pornography or advertising sites.

Pazi stvarno, izgleda da više ne vrše tracking.

Referral spam. Definitivno.

http://www.wired.com/news/culture/0,1284,56017,00.html
Reko godza lepo :)

Postoji nekoliko programa koji rade upravo ovo, mehanizam je kao što je objašnjeno. Blackhat. Ovo je jak spam, a program koji sam imao prilike da vidim radi sledeće (relativno slično): pokupi rezultate pretrage za određeni search term, uz listu različitih IP-a poseti sajt zadati broj puta i napravi refferal bomb sa backlinkom ka sajtu iz statistika sajta. Ovo se relativno i ne provaljuje da je spam, jer je relativno related npr sajt o blue widgetima dobija refferal sa mybluewidget.com... Ostalo zakljucite sami.

pa koliko saobracaja je moguce privuci na taj nacin? Vlasnik sajta ce kliknuti samo jednom i nikad vise na odredjeni link, a i to je samo jedan covek po sajtu... koliko miliona sajtova treba spamovati da bi to imalo nekog efekta?

cuo sam i ja za to, ali mi zvuci kao totalna glupost..

ah ti botovi su neumorni care, isto im je 1 sajt ili milion sajtova.

To je referral spam, a ako ti statistika nije zasticena passwordom (.htpasswd) i Google je crawluje, eto i linkova.

Imam i ja takve bezveze stvari po logu, i s obzirom da je moje statistika crawlovana, ucinio sam je nedostupnom (.htpasswd)

Evo ga jos jedan spamer. Ubi se reklamirajuci wikipedia.org. Stvarno ne kapiram gde je ovde logika ak sama Wikipedia nije narucila ovakvo spamovanje.
Log mi je prepun ovoga,

216.195.50.221 - - [08/Jun/2006:02:30:15 -0500] "GET / HTTP/1.1" 200 14494 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:15 -0500] "GET / HTTP/1.1" 200 87495 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:16 -0500] "GET /index.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15013 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:16 -0500] "GET /index.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 87474 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:17 -0500] "GET /faq.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14773 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:17 -0500] "GET /faq.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 55635 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:17 -0500] "GET /rules.php HTTP/1.1" 200 14308 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:18 -0500] "GET /rules.php HTTP/1.1" 200 51399 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:18 -0500] "GET /search.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15015 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:18 -0500] "GET /search.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 26510 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:19 -0500] "GET /memberlist.php?sid=68b68bb39d8aefd9687e1fd3490edb8 0 HTTP/1.1" 200 15221 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:19 -0500] "GET /memberlist.php?sid=68b68bb39d8aefd9687e1fd3490edb8 0 HTTP/1.1" 200 47745 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:19 -0500] "GET /groupcp.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14600 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:20 -0500] "GET /groupcp.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 20631 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:20 -0500] "GET /profile.php?mode=register&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14320 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:20 -0500] "GET /profile.php?mode=register&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 18347 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:21 -0500] "GET /profile.php?mode=editprofile&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 302 5 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:21 -0500] "GET /login.php?redirect=profile.php&mode=editprofile&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14712 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:21 -0500] "GET /profile.php?mode=editprofile&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 302 5 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:21 -0500] "GET /login.php?redirect=profile.php&mode=editprofile&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 17050 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:21 -0500] "GET /privmsg.php?folder=inbox&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 302 5 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:22 -0500] "GET /login.php?redirect=privmsg.php&folder=inbox&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14315 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:22 -0500] "GET /privmsg.php?folder=inbox&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 302 5 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:22 -0500] "GET /login.php?redirect=privmsg.php&folder=inbox&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 17053 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:23 -0500] "GET /login.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14899 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:23 -0500] "GET /login.php?sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 17015 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:29 -0500] "GET /statistics.php HTTP/1.1" 200 13257 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:29 -0500] "GET /statistics.php HTTP/1.1" 200 51505 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:29 -0500] "GET /profile.php?mode=viewprofile&u=1638&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15743 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:30 -0500] "GET /profile.php?mode=viewprofile&u=1638&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 30203 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:30 -0500] "GET /viewonline.php?sid=68b68bb39d8aefd9687e1fd3490edb8 0 HTTP/1.1" 200 14567 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:35 -0500] "GET /viewonline.php?sid=68b68bb39d8aefd9687e1fd3490edb8 0 HTTP/1.1" 200 21289 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:36 -0500] "GET /index.php?mark=forums&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14398 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:36 -0500] "GET /index.php?mark=forums&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 16229 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:36 -0500] "GET /viewtopic.php?p=57299&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15743 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:37 -0500] "GET /viewtopic.php?p=57299&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 47261 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:37 -0500] "GET /profile.php?mode=viewprofile&u=658&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15743 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:37 -0500] "GET /profile.php?mode=viewprofile&u=658&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 30332 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:38 -0500] "GET /viewforum.php?f=47&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 14725 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:38 -0500] "GET /viewforum.php?f=47&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 28887 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:38 -0500] "GET /viewtopic.php?p=75218&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15743 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:39 -0500] "GET /viewtopic.php?p=75218&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 65603 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:39 -0500] "GET /profile.php?mode=viewprofile&u=852&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15743 "http://wikipedia.org" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:39 -0500] "GET /profile.php?mode=viewprofile&u=852&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 31349 "-" "libwww-perl/5.805"
216.195.50.221 - - [08/Jun/2006:02:30:40 -0500] "GET /viewforum.php?f=33&sid=68b68bb39d8aefd9687e1fd3490edb80 HTTP/1.1" 200 15093 "http://wikipedia.org" "libwww-perl/5.805"

Ima tu kvaka: spameri često linkuju na sajtove koje je lako spamovati. Dizanjem rejtinga sajta na kome se nalaze spam linkovi takođe se diže rejting i linkovanih stranica.

Mada, ako je samo referal spam u pitanju ne vidim poentu.

pa, ilija, na wikipediji nema spam linkova :)

moze biti da neko namjerno hoce da "smjesti" wikipediji, ko zna. jedan drugar je bio primoran da seli sajt par puta sa jednog na drugi server jer je host primao zalbe na spam i suspendovao ga, a on niti je narucio niti je slao spam mailove sa linkom. jednostavno, konkurencija ne stedi sredstva :)

pa, ilija, na wikipediji nema spam linkova :)

Ne, ali ima gomile linkova. Ljudi pokušavaju da dignu rejting čak i stranicama na kojima nema spama da bi doveli što više saobraćaja na samu stranicu.

Btw, nisam mislio samo i isključivo na wikipediju. Samo sam hteo da navedem slučaj kada spameri dižu rejting običnim sajtovima koje naknadno pune spamom te time dižu rejting i linkovanim stranicama.

Objasni mi ko će banovati wikipediju zbog spamovanja i na koji način ovo šteti samoj wikipediji? Ona je već sad više opšte dobro nego "još jedan sajt".

Ilija, to sa wikipediom je mozda Googlebowling, tehnika da se konkurentski sajt linkuje sa "bad neighbourhood", link spam, da se sajlu prekomerni upiti pretrazivacu i sve ostalo sto je protivno webmaster guidelines kod pretrazivaca, da bi se ugrozio rejting. Ne mislis valjda da u Google-u samo rucno banuju za takve stvari? E tako, opet ja nagadjam, neko zeli da Wikipediu obori na nize mesto za neki search termin, drugo mi uopste ne pada na pamet.

Ne mislis valjda da u Google-u samo rucno banuju za takve stvari?

tako nesto.

slicno kao spamcop - recimo, banuju komplet datacentar i banovan je dok ne prodje odredjeni period bez zalbi na IP iz tog opsega, a ti kukaj i vici koliko hoces da je to jedan korisnik zloupotrijebio tvoje usluge i da si ga sankcionisao.

Ne znam, da je kao sto kazes, svi hostinzi bi bili banovani (otvoris shared hosting nalog i udaras kverije Google-u da napakostis konkurentu). Sigurno prvo stupaju u kontakt sa datacentrom, tj. vlasnikom IP.

za spamcop znam da ne kontaktira datacentar :) filter, pa se cekaj. al' dobro, to je varijacija na temu, a za ovaj referral spam nisam siguran, samo pokusavam da dokucim moguce objasnjenje.