Geotargeted script

MorenoArdohain · 01. 02. 2006.

Hello
potrebni su mi saveti od iskusnijih, ako ih ima

Elem, imam mySQL bazu koja sadrzi geotargeted podatke (na osnovu IP adrese daje ostale podatke tipa country, region, city)... baza je poprilicna, 100ak MB sa sve indeksima (1.5 milion recorda)

Ne treba da napominjem da je prilicno spora

I sad, naisao sam na projekat u kom treba skoro realtime ispisivati geotargeted podatke, na osnovu IP adrese posetioca.. Server ce trpeti zestoko opterecenje posto je ocekivan broj geotargeted requesta oko 50 hiljada na sat

I imam par ideja kako da ubrzam stvari:
1. baza ce biti u binary formatu
2. koristice se memory cache kako bi se maksimalno ubrzala pretraga za odredjeni IP
3. koristice se Perl radi brzine (koristio bih C kad bih ga znao tako dobro kao perl

Zeleo bih da cujem vase predloge i iskustva..
Da li koristiti neka gotova resenja za binary db (tipa DB_File), ili koristiti custom db file, sa fiksnim duzinama polja?
Ili da drzim celu bazu u memoriji? Da li mislite da bi koriscenje C-a znacajno ubrzalo stvari?

Svaka sugestija dobrodosla!

marinowski · 02. 02. 2006.

Hm, sve zavisi da li ce masina koja radi na tome raditi i nesto drugo ... 50.000 na sat, dakle, 15 u sekundi, 30-40 u pikovima, nije neki problem ukoliko se kao reprezentacija IP brojeva koristi 32bitni integer. Pretpostavljam da su IP brojevi prezentovani kao opseg od-do u bazi?

Za motivaciju pogledaj http://www.maxmind.com/app/ip_locate , mi koristimo njihovu bazu, i uglavnom smo zadovoljni. Moze se besplatno skinuti GeoIP country. Koriste svoju internu strukturu podataka, postoje API za dosta jezika.

Drugo je pitanje tacnost podataka, uglavnom takve baze prilicno grese. Za SAD je prilicno tacno, za Evropu bas i nije, narocito za nase prostore.

Trece je pitanje update tih podataka, potreban je barem mesecni update da bi se ocuvala kakva-takva tacnost.

robi-bobi · 02. 02. 2006.

MorenoArdohain, jel to neka free baza?
Jel moze link

Ja sam trazio i nasao vrlo malo IP->city takvih. Uglavnom samo za USA.

Ajd da ne otvaram novu temu:
jel ima neko sledecu bazu:
GeografskaSirinaxGeografskaDuzina <-> city

evo kako su ljudi to iskoristili: http://woophy.com/map/index.php

MorenoArdohain · 02. 02. 2006.

Nije free, koristi se ip2location baza (www.ip2location.com)

Za zigora: posto je u pitanju ionako projekat namenjen USA trzistu, ne brine me preterano tacnost podataka..
Imamo dedicated server samo za te stvari, tako da cu probati mod_perl ili nesto slicno, a probacu i PHP varijantu, posto vidim da phpads cita binary fajl od maxmind-ove baze..
Uglavnom, mislim da nema nista bez testiranja i experimentisanja

zextra · 04. 02. 2006.

Nemoj me shvatiti zdravo za gotovo, ali mislim da koriscenje C-a moze da unese odredjeno ubrzanje, s tim sto je to ubrzanje verovatno zanemarljivo u odnosu na perl, jer perl stvara overhead samo prilikom parsovanja skripte - izvrsenje ide relativno jednako brzo ("relativno" je keyword u ovom slucaju

).

Off Topic: Dokaz da perl bas i nije tako spor je postojanje, recimo, OpenGL extenzija za isti...

marinowski · 04. 02. 2006.

Citat:

Originalno napisao robi-bobi

Ajd da ne otvaram novu temu:
jel ima neko sledecu bazu:
GeografskaSirinaxGeografskaDuzina <-> city

Imas ovde i vise nego sto ti treba: http://gnswww.nga.mil/geonames/GNS/index.jsp
Klikni na FTP skidanje, interesuju te geonames_dd_dms_date_* fileovi, ja konkretno imam geonames_dd_dms_date_20050801.zip ... Pored svih mogucih gradova i sela imas i lokacije kao sto su luke, zeleznicke stanice, pa i Drvni kombinat u Beogradu

Procitaj README, da vidis gde se smeju koristiti podaci ...

MorenoArdohain · 04. 02. 2006.

Interesantno..
Nego, kako uopste sajtovi kao sto su MaxMind i Ip2Location prikupljaju te geo podatke?

zextra · 04. 02. 2006.

IP Whois registri kombinovani sa drugim, javno dostupnim bazama...

marinowski · 04. 02. 2006.

Da, za pocetak, a kasnije mukotrpno rucno menjanje uz proveru, posto ima puno nepreciznosti. Interesantno je da se posvecuje paznja i Anonymous Proxyjima, pa se zna ko pokusava biti anoniman dok ti pristupa sajtu.

A ova baza koju sam pomenuo, dolazi sa .mil domena, pa je logicno odakle su skupili te podatke

robi-bobi · 05. 02. 2006.

@zigor: veliko hvala, evo idem da citam readme

01. 02. 2006.	#1
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Geotargeted script Hello potrebni su mi saveti od iskusnijih, ako ih ima Elem, imam mySQL bazu koja sadrzi geotargeted podatke (na osnovu IP adrese daje ostale podatke tipa country, region, city)... baza je poprilicna, 100ak MB sa sve indeksima (1.5 milion recorda) Ne treba da napominjem da je prilicno spora I sad, naisao sam na projekat u kom treba skoro realtime ispisivati geotargeted podatke, na osnovu IP adrese posetioca.. Server ce trpeti zestoko opterecenje posto je ocekivan broj geotargeted requesta oko 50 hiljada na sat I imam par ideja kako da ubrzam stvari: 1. baza ce biti u binary formatu 2. koristice se memory cache kako bi se maksimalno ubrzala pretraga za odredjeni IP 3. koristice se Perl radi brzine (koristio bih C kad bih ga znao tako dobro kao perl Zeleo bih da cujem vase predloge i iskustva.. Da li koristiti neka gotova resenja za binary db (tipa DB_File), ili koristiti custom db file, sa fiksnim duzinama polja? Ili da drzim celu bazu u memoriji? Da li mislite da bi koriscenje C-a znacajno ubrzalo stvari? Svaka sugestija dobrodosla! __________________ Não quero mais seguir um só caminho

02. 02. 2006.	#4
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Nije free, koristi se ip2location baza (www.ip2location.com) Za zigora: posto je u pitanju ionako projekat namenjen USA trzistu, ne brine me preterano tacnost podataka.. Imamo dedicated server samo za te stvari, tako da cu probati mod_perl ili nesto slicno, a probacu i PHP varijantu, posto vidim da phpads cita binary fajl od maxmind-ove baze.. Uglavnom, mislim da nema nista bez testiranja i experimentisanja __________________ Não quero mais seguir um só caminho

04. 02. 2006.	#5
zextra Boris Grand Master Datum učlanjenja: 01.12.2005 Lokacija: Novi Sad Poruke: 775 Hvala: 5 156 "Hvala" u 2 poruka	Nemoj me shvatiti zdravo za gotovo, ali mislim da koriscenje C-a moze da unese odredjeno ubrzanje, s tim sto je to ubrzanje verovatno zanemarljivo u odnosu na perl, jer perl stvara overhead samo prilikom parsovanja skripte - izvrsenje ide relativno jednako brzo ("relativno" je keyword u ovom slucaju ). Off Topic: Dokaz da perl bas i nije tako spor je postojanje, recimo, OpenGL extenzija za isti... __________________ "It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams

04. 02. 2006.	#7
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Interesantno.. Nego, kako uopste sajtovi kao sto su MaxMind i Ip2Location prikupljaju te geo podatke? __________________ Não quero mais seguir um só caminho

04. 02. 2006.	#8
zextra Boris Grand Master Datum učlanjenja: 01.12.2005 Lokacija: Novi Sad Poruke: 775 Hvala: 5 156 "Hvala" u 2 poruka	IP Whois registri kombinovani sa drugim, javno dostupnim bazama... __________________ "It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams

02. 02. 2006.	#2
marinowski Igor Marinović Expert Datum učlanjenja: 09.06.2005 Lokacija: Palić Poruke: 549 Hvala: 31 39 "Hvala" u 17 poruka	Hm, sve zavisi da li ce masina koja radi na tome raditi i nesto drugo ... 50.000 na sat, dakle, 15 u sekundi, 30-40 u pikovima, nije neki problem ukoliko se kao reprezentacija IP brojeva koristi 32bitni integer. Pretpostavljam da su IP brojevi prezentovani kao opseg od-do u bazi? Za motivaciju pogledaj http://www.maxmind.com/app/ip_locate , mi koristimo njihovu bazu, i uglavnom smo zadovoljni. Moze se besplatno skinuti GeoIP country. Koriste svoju internu strukturu podataka, postoje API za dosta jezika. Drugo je pitanje tacnost podataka, uglavnom takve baze prilicno grese. Za SAD je prilicno tacno, za Evropu bas i nije, narocito za nase prostore. Trece je pitanje update tih podataka, potreban je barem mesecni update da bi se ocuvala kakva-takva tacnost.

02. 02. 2006.	#3
robi-bobi expert Grand Master Datum učlanjenja: 05.10.2005 Lokacija: Sofia, Bulgaria Poruke: 805 Hvala: 222 958 "Hvala" u 68 poruka	MorenoArdohain, jel to neka free baza? Jel moze link Ja sam trazio i nasao vrlo malo IP->city takvih. Uglavnom samo za USA. Ajd da ne otvaram novu temu: jel ima neko sledecu bazu: GeografskaSirinaxGeografskaDuzina <-> city evo kako su ljudi to iskoristili: http://woophy.com/map/index.php

05. 02. 2006.	#10
robi-bobi expert Grand Master Datum učlanjenja: 05.10.2005 Lokacija: Sofia, Bulgaria Poruke: 805 Hvala: 222 958 "Hvala" u 68 poruka	@zigor: veliko hvala, evo idem da citam readme

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Java script - tezga :)	torbica	Poslovne ponude i zapošljavanje	2	02. 10. 2009. 01:43
Action Script programer	35-68	Poslovne ponude i zapošljavanje	0	11. 07. 2007. 22:13
Java script & CSS coder	djoxy	Poslovne ponude i zapošljavanje	0	26. 01. 2007. 17:54
Potreban script	Dragan Babić	PHP	10	13. 01. 2006. 02:42
script execution time	zextra	PHP	1	02. 12. 2005. 03:16