DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   Web aplikacije, web servisi i software (http://www.devprotalk.com/forumdisplay.php?f=30)
-   -   Kako se detektovati botove ? (http://www.devprotalk.com/showthread.php?t=10608)

ppavlovic 17. 12. 2011. 15:29

Kako se detektovati botove ?
 
Merim statistiku pregleda za određene strane, ali u tu statistiku pregleda ulaze i botovi (razni, ima ih sada milijardu). Kako da najbolje detektujem botove da bi ih isključio da mi remete statistiku ? Pravljenje liste botova po User-Agent i IP adresama je sizifov posao.

Peca 17. 12. 2011. 15:42

dobra ideja je da statistiku zapravo ne meri sama strana - vec da strana sadrzi javascript koji ce napraviti naknadni http request ka nekom tvom counter.php

javascript ce ucitati samo normalni browseri, i eto resenja.

jedini problem je sto tako opterecujes server malo vise, jer ce za svaki pageview da se pravi jos jedan dodatni http request ka tvom brojacu.

mada u principu sve to sada moze da se odradi preko GA... ne znam sta bi to bilo specificno sto ne bi moglo preko GA da se uradi?

webarto 17. 12. 2011. 15:57

Ma neće opteretiti server, u svakom slučaju ne pravi se samo 1 request.

jQuery
PHP kôd:

$.post("ajax/counter"); 


ppavlovic 17. 12. 2011. 16:27

@Peca: Imam neke interne brojače koliko puta je pregledan koji model vozila, ne brojim konkretno strane.


@webarto: neće li neki bot da "pravi pametan" pa da parsira URL iz ajax zahteva. Znam da googlebot to radi, možda još neki?


BTW, kad smo kod ovoga, da li ima neki softver za analitiku koji neće da broji stranice nego će brojati "bilo šta", pa da se na osnovu toga može pratiti presek dnevne, nedeljne, mesečne statistike ?

webarto 17. 12. 2011. 16:37

Moguće, onda gledaj referer, pošto ne bih rekao da šalje isti...

PHP kôd:

if (strpos($_SERVER["HTTP_REFERER"], 'mojnoviauto.com') !== false)
    
header('Location: http://mojnoviauto.com'true404); 

Ili bilo kakav identifikator, sesija, cookie neki itd... ali jednostavnije je...

PHP kôd:

$.post('ajax' '/' 'counter'); 

U svakom slučaju napravi tako da je nemoguće direktno pristupiti, odnosno preko POST napravi, ili neki token, da ne bi sebi neko "naklikao" :)

mileusna 17. 12. 2011. 17:17

Citat:

Originalno napisao ppavlovic (Napišite 103702)
@Peca: Imam neke interne brojače koliko puta je pregledan koji model vozila, ne brojim konkretno strane.

Sve to može preko GA i Google Analytics Events.

Kôd:

_gaq.push(['_trackEvent', 'Car', 'Renault Megane']);
Pratiš šta hoćeš i koliko hoćeš, izveštaji su u GA i možeš da ih ukrštaš sa drugim podacima, npr. dođeš do zaključka da ljudi koji gledaju Mercedes imaju najveću bounce rate ili tako nešto. :)

Citat:

BTW, kad smo kod ovoga, da li ima neki softver za analitiku koji neće da broji stranice nego će brojati "bilo šta", pa da se na osnovu toga može pratiti presek dnevne, nedeljne, mesečne statistike ?
Pa eto, lepo si rekao... Preko GA eventa možeš da brojiš "bilo šta". :)

Citat:

Kôd:

_trackEvent(category, action, opt_label, opt_value, opt_noninteraction)
category (required)
The name you supply for the group of objects you want to track.

action (required)
A string that is uniquely paired with each category, and commonly used to define the type of user interaction for the web object.

label (optional)
An optional string to provide additional dimensions to the event data.

value (optional)
An integer that you can use to provide numerical data about the user event.

non-interaction (optional)
A boolean that when set to true, indicates that the event hit will not be used in bounce-rate calculation.

Peca 17. 12. 2011. 20:19

na GA Events sam naravno i mislio - a posle tim podacima moze da se pristupi i preko GA API-ja [kao sto je Torbica napravio www.snajper.rs]

jablan 17. 12. 2011. 22:43

Ako želiš da uključiš podatke iz analitike nazad u aplikaciju (npr. da bolje rankiraš one oglase koji su češće kliktani), pretpostavljam da je ipak lakše da odradiš svoj sistem za praćenje (ili kombinuješ sa GA).

Miroslav Ćurčić 19. 12. 2011. 16:40

Ja sam na stranicama postavljao "mamac" (bait) - link koji vodi na stranicu na kojoj stoji upozorenje da posetioci ne klikaju na link ispod, a taj link vodi na sledeću stranicu koja IP posetioca upisuje u bazu botova.
Kasnije pri vađenju statistike preskočim posetioce sa tih IP adresa.

mileusna 19. 12. 2011. 18:09

Citat:

Originalno napisao Miroslav Ćurčić (Napišite 103753)
Ja sam na stranicama postavljao "mamac" (bait) - link koji vodi na stranicu na kojoj stoji upozorenje da posetioci ne klikaju na link ispod, a taj link vodi na sledeću stranicu koja IP posetioca upisuje u bazu botova.

Ha ha, pa ovo je skoro siguran način da neko klikne na link. :) Ja bih recimo kliknuo, jer postoji milion nekih šaljivih fora na netu sa tim "don't click this link" i sl. Precenjuješ svoje posetioce. :)


Vreme je GMT +2. Trenutno vreme je 18:54.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.