DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > Programiranje
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Programiranje Java, Perl, VB, ASP, .NET, C, C++, Pascal, Delphi Sponzor: VIP izazov 3

Odgovori
 
Alati teme Način prikaza
Staro 01. 02. 2006.   #1
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default Geotargeted script

Hello
potrebni su mi saveti od iskusnijih, ako ih ima

Elem, imam mySQL bazu koja sadrzi geotargeted podatke (na osnovu IP adrese daje ostale podatke tipa country, region, city)... baza je poprilicna, 100ak MB sa sve indeksima (1.5 milion recorda)

Ne treba da napominjem da je prilicno spora

I sad, naisao sam na projekat u kom treba skoro realtime ispisivati geotargeted podatke, na osnovu IP adrese posetioca.. Server ce trpeti zestoko opterecenje posto je ocekivan broj geotargeted requesta oko 50 hiljada na sat

I imam par ideja kako da ubrzam stvari:
1. baza ce biti u binary formatu
2. koristice se memory cache kako bi se maksimalno ubrzala pretraga za odredjeni IP
3. koristice se Perl radi brzine (koristio bih C kad bih ga znao tako dobro kao perl

Zeleo bih da cujem vase predloge i iskustva..
Da li koristiti neka gotova resenja za binary db (tipa DB_File), ili koristiti custom db file, sa fiksnim duzinama polja?
Ili da drzim celu bazu u memoriji? Da li mislite da bi koriscenje C-a znacajno ubrzalo stvari?

Svaka sugestija dobrodosla!
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 02. 02. 2006.   #2
marinowski
Igor Marinović
Expert
 
Avatar marinowski
 
Datum učlanjenja: 09.06.2005
Lokacija: Palić
Poruke: 549
Hvala: 31
39 "Hvala" u 17 poruka
marinowski is on a distinguished road
Pošaljite ICQ poruku za marinowski
Default

Hm, sve zavisi da li ce masina koja radi na tome raditi i nesto drugo ... 50.000 na sat, dakle, 15 u sekundi, 30-40 u pikovima, nije neki problem ukoliko se kao reprezentacija IP brojeva koristi 32bitni integer. Pretpostavljam da su IP brojevi prezentovani kao opseg od-do u bazi?

Za motivaciju pogledaj http://www.maxmind.com/app/ip_locate , mi koristimo njihovu bazu, i uglavnom smo zadovoljni. Moze se besplatno skinuti GeoIP country. Koriste svoju internu strukturu podataka, postoje API za dosta jezika.

Drugo je pitanje tacnost podataka, uglavnom takve baze prilicno grese. Za SAD je prilicno tacno, za Evropu bas i nije, narocito za nase prostore.

Trece je pitanje update tih podataka, potreban je barem mesecni update da bi se ocuvala kakva-takva tacnost.
marinowski je offline   Odgovorite uz citat
Staro 02. 02. 2006.   #3
robi-bobi
expert
Grand Master
 
Avatar robi-bobi
 
Datum učlanjenja: 05.10.2005
Lokacija: Sofia, Bulgaria
Poruke: 805
Hvala: 222
958 "Hvala" u 68 poruka
robi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu auru
Pošaljite poruku preko Skype™ za robi-bobi
Default

MorenoArdohain, jel to neka free baza?
Jel moze link

Ja sam trazio i nasao vrlo malo IP->city takvih. Uglavnom samo za USA.

Ajd da ne otvaram novu temu:
jel ima neko sledecu bazu:
GeografskaSirinaxGeografskaDuzina <-> city

evo kako su ljudi to iskoristili: http://woophy.com/map/index.php
robi-bobi je offline   Odgovorite uz citat
Staro 02. 02. 2006.   #4
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Nije free, koristi se ip2location baza (www.ip2location.com)

Za zigora: posto je u pitanju ionako projekat namenjen USA trzistu, ne brine me preterano tacnost podataka..
Imamo dedicated server samo za te stvari, tako da cu probati mod_perl ili nesto slicno, a probacu i PHP varijantu, posto vidim da phpads cita binary fajl od maxmind-ove baze..
Uglavnom, mislim da nema nista bez testiranja i experimentisanja
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 04. 02. 2006.   #5
zextra
Boris
Grand Master
 
Avatar zextra
 
Datum učlanjenja: 01.12.2005
Lokacija: Novi Sad
Poruke: 775
Hvala: 5
156 "Hvala" u 2 poruka
zextra is on a distinguished roadzextra is on a distinguished road
Default

Nemoj me shvatiti zdravo za gotovo, ali mislim da koriscenje C-a moze da unese odredjeno ubrzanje, s tim sto je to ubrzanje verovatno zanemarljivo u odnosu na perl, jer perl stvara overhead samo prilikom parsovanja skripte - izvrsenje ide relativno jednako brzo ("relativno" je keyword u ovom slucaju ).
Off Topic: Dokaz da perl bas i nije tako spor je postojanje, recimo, OpenGL extenzija za isti...
__________________
"It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams
zextra je offline   Odgovorite uz citat
Staro 04. 02. 2006.   #6
marinowski
Igor Marinović
Expert
 
Avatar marinowski
 
Datum učlanjenja: 09.06.2005
Lokacija: Palić
Poruke: 549
Hvala: 31
39 "Hvala" u 17 poruka
marinowski is on a distinguished road
Pošaljite ICQ poruku za marinowski
Default

Citat:
Originalno napisao robi-bobi
Ajd da ne otvaram novu temu:
jel ima neko sledecu bazu:
GeografskaSirinaxGeografskaDuzina <-> city
Imas ovde i vise nego sto ti treba: http://gnswww.nga.mil/geonames/GNS/index.jsp
Klikni na FTP skidanje, interesuju te geonames_dd_dms_date_* fileovi, ja konkretno imam geonames_dd_dms_date_20050801.zip ... Pored svih mogucih gradova i sela imas i lokacije kao sto su luke, zeleznicke stanice, pa i Drvni kombinat u Beogradu

Procitaj README, da vidis gde se smeju koristiti podaci ...
marinowski je offline   Odgovorite uz citat
Staro 04. 02. 2006.   #7
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Interesantno..
Nego, kako uopste sajtovi kao sto su MaxMind i Ip2Location prikupljaju te geo podatke?
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 04. 02. 2006.   #8
zextra
Boris
Grand Master
 
Avatar zextra
 
Datum učlanjenja: 01.12.2005
Lokacija: Novi Sad
Poruke: 775
Hvala: 5
156 "Hvala" u 2 poruka
zextra is on a distinguished roadzextra is on a distinguished road
Default

IP Whois registri kombinovani sa drugim, javno dostupnim bazama...
__________________
"It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams
zextra je offline   Odgovorite uz citat
Staro 04. 02. 2006.   #9
marinowski
Igor Marinović
Expert
 
Avatar marinowski
 
Datum učlanjenja: 09.06.2005
Lokacija: Palić
Poruke: 549
Hvala: 31
39 "Hvala" u 17 poruka
marinowski is on a distinguished road
Pošaljite ICQ poruku za marinowski
Default

Da, za pocetak, a kasnije mukotrpno rucno menjanje uz proveru, posto ima puno nepreciznosti. Interesantno je da se posvecuje paznja i Anonymous Proxyjima, pa se zna ko pokusava biti anoniman dok ti pristupa sajtu.

A ova baza koju sam pomenuo, dolazi sa .mil domena, pa je logicno odakle su skupili te podatke
marinowski je offline   Odgovorite uz citat
Staro 05. 02. 2006.   #10
robi-bobi
expert
Grand Master
 
Avatar robi-bobi
 
Datum učlanjenja: 05.10.2005
Lokacija: Sofia, Bulgaria
Poruke: 805
Hvala: 222
958 "Hvala" u 68 poruka
robi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu auru
Pošaljite poruku preko Skype™ za robi-bobi
Default

@zigor: veliko hvala, evo idem da citam readme
robi-bobi je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Java script - tezga :) torbica Poslovne ponude i zapošljavanje 2 02. 10. 2009. 01:43
Action Script programer 35-68 Poslovne ponude i zapošljavanje 0 11. 07. 2007. 22:13
Java script & CSS coder djoxy Poslovne ponude i zapošljavanje 0 26. 01. 2007. 17:54
Potreban script Dragan Babić PHP 10 13. 01. 2006. 02:42
script execution time zextra PHP 1 02. 12. 2005. 03:16


Vreme je GMT +2. Trenutno vreme je 08:59.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.