Kako se detektovati botove ?

[ppavlovic]

Merim statistiku pregleda za određene strane, ali u tu statistiku pregleda ulaze i botovi (razni, ima ih sada milijardu). Kako da najbolje detektujem botove da bi ih isključio da mi remete statistiku ? Pravljenje liste botova po User-Agent i IP adresama je sizifov posao.

[Peca]

dobra ideja je da statistiku zapravo ne meri sama strana - vec da strana sadrzi javascript koji ce napraviti naknadni http request ka nekom tvom counter.php

javascript ce ucitati samo normalni browseri, i eto resenja.

jedini problem je sto tako opterecujes server malo vise, jer ce za svaki pageview da se pravi jos jedan dodatni http request ka tvom brojacu.

mada u principu sve to sada moze da se odradi preko GA... ne znam sta bi to bilo specificno sto ne bi moglo preko GA da se uradi?

[webarto]

Ma neće opteretiti server, u svakom slučaju ne pravi se samo 1 request.

jQuery

PHP kôd:

$.post("ajax/counter"); 


[ppavlovic]

@Peca: Imam neke interne brojače koliko puta je pregledan koji model vozila, ne brojim konkretno strane.


@webarto: neće li neki bot da "pravi pametan" pa da parsira URL iz ajax zahteva. Znam da googlebot to radi, možda još neki?


BTW, kad smo kod ovoga, da li ima neki softver za analitiku koji neće da broji stranice nego će brojati "bilo šta", pa da se na osnovu toga može pratiti presek dnevne, nedeljne, mesečne statistike ?

[webarto]

Moguće, onda gledaj referer, pošto ne bih rekao da šalje isti...

PHP kôd:

if (strpos($_SERVER["HTTP_REFERER"], 'mojnoviauto.com') !== false)
    header('Location: http://mojnoviauto.com', true, 404); 


Ili bilo kakav identifikator, sesija, cookie neki itd... ali jednostavnije je...

PHP kôd:

$.post('ajax' + '/' + 'counter'); 


U svakom slučaju napravi tako da je nemoguće direktno pristupiti, odnosno preko POST napravi, ili neki token, da ne bi sebi neko "naklikao"

[mileusna]

Originalno napisao ppavlovic

@Peca: Imam neke interne brojače koliko puta je pregledan koji model vozila, ne brojim konkretno strane.

Sve to može preko GA i Google Analytics Events.

_gaq.push(['_trackEvent', 'Car', 'Renault Megane']);

Pratiš šta hoćeš i koliko hoćeš, izveštaji su u GA i možeš da ih ukrštaš sa drugim podacima, npr. dođeš do zaključka da ljudi koji gledaju Mercedes imaju najveću bounce rate ili tako nešto.

BTW, kad smo kod ovoga, da li ima neki softver za analitiku koji neće da broji stranice nego će brojati "bilo šta", pa da se na osnovu toga može pratiti presek dnevne, nedeljne, mesečne statistike ?

Pa eto, lepo si rekao... Preko GA eventa možeš da brojiš "bilo šta".

_trackEvent(category, action, opt_label, opt_value, opt_noninteraction)

category (required)
The name you supply for the group of objects you want to track.

action (required)
A string that is uniquely paired with each category, and commonly used to define the type of user interaction for the web object.

label (optional)
An optional string to provide additional dimensions to the event data.

value (optional)
An integer that you can use to provide numerical data about the user event.

non-interaction (optional)
A boolean that when set to true, indicates that the event hit will not be used in bounce-rate calculation.

[Peca]

na GA Events sam naravno i mislio - a posle tim podacima moze da se pristupi i preko GA API-ja [kao sto je Torbica napravio www.snajper.rs]

[jablan]

Ako želiš da uključiš podatke iz analitike nazad u aplikaciju (npr. da bolje rankiraš one oglase koji su češće kliktani), pretpostavljam da je ipak lakše da odradiš svoj sistem za praćenje (ili kombinuješ sa GA).

[Miroslav Ćurčić]

Ja sam na stranicama postavljao "mamac" (bait) - link koji vodi na stranicu na kojoj stoji upozorenje da posetioci ne klikaju na link ispod, a taj link vodi na sledeću stranicu koja IP posetioca upisuje u bazu botova.
Kasnije pri vađenju statistike preskočim posetioce sa tih IP adresa.

[mileusna]

Originalno napisao Miroslav Ćurčić

Ja sam na stranicama postavljao "mamac" (bait) - link koji vodi na stranicu na kojoj stoji upozorenje da posetioci ne klikaju na link ispod, a taj link vodi na sledeću stranicu koja IP posetioca upisuje u bazu botova.

Ha ha, pa ovo je skoro siguran način da neko klikne na link. Ja bih recimo kliknuo, jer postoji milion nekih šaljivih fora na netu sa tim "don't click this link" i sl. Precenjuješ svoje posetioce.