|
Svetska premijera i testiranje pretraživača www.edgios.com
Na adresi www.edgios.rs je projekat novog pretraživača koji je napravljen kod nas, naravno uz finansiranje iz inostranstva. Ovo je potpuno novi koncept građenja pretraživača. Detaljno objašnjenje ideje i kako je predviđeno da radi imate na sajtu a suština je u građenju mreže korisnika koji dele svoje resurse i informacije o sajtovima koje posećuju.
Sada smo u fazi testiranja u realnim uslovima. Zato nam treba nekoliko stotina korisnika koji će ga instalirati na svoje mašine, koristiti neko vreme i putem forme na sajtu reći razvojnom timu svoje mišljenje. Molim vas da to uradite i da pozovete prijatelje da urade isto. Možda svi zajedno postanemo deo internet istorije. :) |
jesam ja to dobro shvatio da ova stvar belezi gde ja surfujem i to onda sharuje sa ostalim korisnicima (u sklopu pretrage ili kako vec)? Ako je to tako, vec mi se ne svidja ideja.. ako nije trebalo bi malo bolje da objasnite privacy related elemente, jer verujem da ce se mnogi zabrinuti..
|
I ja sam malko zbunjen. :1041:
|
ima i Sudoku :P
|
Privatnost
Citat:
Što se tiče objašnjenja ovog, i naravno drugih, pitanja vezanih za Edgios najbolje je da to učini njegov autor. Bora Agapijev će se priključiti ovoj diskusiji čim u utorak završi sastančenje sa investitorima a vi do tada spremite pitanja :) Par čijenica o njemu: Idejni tvorac pretraživača Edgios i vođa tima koji su ga razvili Borislav Agapijev je inženjer elektrotehnike koji je diplomirao u Beogradu. Sredinom osamdesetih otišao je u Sjedinjene Američke Države, doktorirao 1992 i naredne decenije ostvario zavidnu karijeru u Intel-u. Zainteresovan za pitanja poboljšavanja tehnologije pretraživanja interneta 2000 godine ulazi u vode internet preduzetništva. Njegov prvi projekat bio je Vast pretraživač malih oglasa na vebu na adresi www.vast.com. Pretraživač Vast je baziran u San Francisku i ima najveće pretraživače na svetu u oblastima automobilskih oglasa, vila za izdavanje, kupovinu kuća i drugih. U 2006. godini njegov tvorac počinje razvoj distribuiranog pretraživača Edgios koji sada možete da testirate na adresi www.edgios.rs. U dosadašnji razvoj Edgiosa uloženo je preko milion dolara kapitala investitora iz SAD. Investitori Edgiosa su čuvena Venture Capital firma Draper Fisher Jurvetson (DFJ), poznata po investicijama u Skype, kao i Baidu (najveći kineski pretraživač). Ceo razvojni tim programera koji rade na Edgiosu je u Srbiji. To je tim mladih inženjera, najboljih studenata u svojim generacijama, pobednika na svetskim takmičenjima u matematici, fizici i programiranju. |
jel se zna koji mu je USER_AGENT ?
|
no such thing,valjda,...
ovo ti je u principu p2p google sa distribuiranim indexom. (opet, valjda) znaci ti browsujes stranice, i one se automatski (verovatno preko plugina nekog) upisuju kod tebe i jos u n nodova.. bas me zanima buducnost ovog projekta, i kolicina novca ulozenog u marketing da bi se doslo do recimo 1M korisnika. |
nisam mogao da uzivam u software-u jer sam iza adsl i wifi rutera...
elem vredi ga instalirati - takav ripoff google dizajna odavno nije vidjen. cak i settings deo sa onom naranzastom bojom... |
Citat:
Ali kojom brzinom P2P može da izbaci rezultate pretrage? Naročito kad broj korisnika naraste, kako će ići skaliranje? Kad tražiš film na P2P ili slično brzina ti nije bitna, ali za web search jeste. Ja sam se ovim malo bavio pre 3-4 godine i po onome što sam pročitao niko nije bio optimista po tom pitanju. Kad sam se ja u Srbiji time zanimao, možeš misliti koliko njih je u Silikonskoj dolini razmišljalo o P2P Google killeru, ali je ceo P2P koncept izgleda problematičan kada je web search u pitanju. No eto, vidim nove startape na temu P2P pretrage, ovaj "naš" i http://www.faroo.com/ koji je koliko vidim bio i neki TechCrunch finalista 2007. Videćemo šta će biti, ali baš nisam optimističan... Prednost P2P pretrage postoji po meni samo za kompaniju, jer ti ne treba 'iljadu servera i ogroman bandwidth. Sa druge strane оpet moraš više para da spucaš na promociju da bi naterao korisnike da instaliraju klijenta. Mislim su sve prednosti za korisnike na strani serverskih pretraživača. I da je skidanje piratskih filmova i MP3 pesama sa weba legalno, verovatno niko ne bi koristio eMule i slične servise. Ovako mu oni dođu kao nužno zlo... P.S. Nisam isprobao. :) |
Uvek je zanimljivo raditi nesto novo ili iste stvari na drugacije nacin. Slazem se sa iznetim da ce glavna prepreka za nove korisnike biti ta sto moraju instalirati softver koji ce pratiti njihovu aktivnost. Takodje, ja ne volim nesto P2P stvari, i jedini P2P servis koji koristim je Skype.
Ne treba takodje zaboraviti da je lojalnost korisnika na Web-u najvise izrazena za servise pretrazivanja. Najveci broj korisnika koristi samo Google pretragu (ukljucujuci i mene) iako verovatno i drugi pretrazivaci npr. lokalni pretrazivaci date zemlje bi verovatno dali isto toliko kvalitetne rezultate. Navika je to. Ali ne treba se fokusirati na preprekama nego raditi na razvoju projekta. Ono sto je zanimljivo je to da (dobre) VC kompanije retko kada investiraju u nesto u sta ne vide perspektivu. Takodje, svaki projekat koji ima ukljucene osobe i iz Srbije, pogotovo ako je projekat deo neke globalne price treba pozdraviti i podrzati. |
cak iako ne radi iza dva rutera (torenti mi rade bez problema) .. i cak iako mu ponekad treba po 10 sec da vrati rezultat?
to je make or brake momenat, probaj malo ovo... pa onda odi na google.. ubrzanje je puta 10. |
Pozdrav svima,
Dozvolite prvo da se predstavim. Moje ime je Benjamin Tarabar. Moja funkcija je Country Manager, Edgios, Inc. Po zanimanju sam dipl.ing elektrotehnike, generacija 1974., ETF Beograd. Hteo bih u nekoliko kratkih recenica da dam par objasnjenja i informacija koje se ticu Edgios projekta. Projekat Edgios je zapocet u leto 2006. u Beogradu. Osnovna ideja je potekla od naseg osnivaca, dr Borislava Agapieva (zivi i radi u Portland, OR., USA), koji je nakon napustanja firme Intel tada vec imao iza sebe uspesno realizovan search start-up vast.com. Danas, dve godine nakon inicijalne ideje imamo pred sobom P2P servent koji je doduse jos u uvek ranoj fazi realizacije, ali koji je funkcionalno spreman za javno testiranje. Ova kampanja koji trenutno vodimo moze da se smatra kao otvoreni poziv za ucesce u javnom testiranju Edgios tehnologije gde cemo pokusati da istestiramo "in vivo" sve aspekte koje je jedino moguce istesirati na mnogo vecem uzorku realnih korisnika. Servent je prevazisao okvire tima developera i/ili njihovih prijatelja koji su do sada bili jedini korisnici. Mislim da na ovom forumu nema potrebe da se posebno naglasava da P2P namece sasvim drugaciji pristup u odnosu na centralizovane search tehnologije pogotovo iz aspekta brzine odziva, rangiranja, skaliranja itd., sto je predstavljalo poseban izazov u toku realizacije. Najveci deo tehnoloskih dilema je iza nas, naravno ostaje da se realizuje citav niz drugih elemenata kako bi Edgios mogao da predje u mainstream za pretrazivanje. Mislim da smo na dobrom putu da to i realizujemo. Podrudicu se da odgovorim na sva vasa eventualna pitanja. Bora ce takodje da nam se pridruzi na ovom forumu cim se vrati sa puta iz Kalifornije sredinom sledece nedelje, gde trenutno obara ruke sa investitorima.:) Hvala na razumevanju i sugestijama, Ben. |
iako mislim da je bitno podrzati svaki element inovacije u lokalitetu, pogotovo u inzenjerskom kontekstu, ne dopadaju mi se 2 stvari - jedna je kranje licna i sebicna (sorry guys, nista licno - samo glas iz rovova) - razvlacenje vast.com-a u pitch-u nad nedovrsenim proizvodom, a druga je sama nedovrsenost i, cini mi se, objektivnost nad tezinom problema i diskutabilnom efikasnoscu tehnologije. ne zelim uopste da ulazim u pitanje da li je ovo profitabilna tehnologija posto sada tek sledi par godina uzasa sa investitorima, trazenjem niche-a (hard ****...) itd. - ali uz cestitke na hrabrosti za launch, mislim da ovome sto sada vidim jedino moze da pomogne keep your heads low & hands dirty a ne konferencije posto tehnicki gledano izgleda kao da je zagrebana tek sama povrsina. bez obzira, nadam se da je moja vizura pogresna i puno srece - za search kompanije ima dosta prostora iako izgleda potpuno suprotno.
|
Citat:
|
po cemu je p2p pretraga bolja od recimo... firefox plugina koji prati korisnikov surf i sve salje u jedan index, nad kojim se kasnije vrsi pretraga ?
|
Postoji nekoliko "genetskih" prednosti P2P pretrazivanja u odnosu na centralizovane tehnologije. Napomenucu samo neke od njih.
Pretpostavljam da na ovom forumu ne moram posebno da obrazlazem funkciju sadrzaja robots.txt fajla. Evo jedan tipican primer. Autotrader je najveci content provider na svetu kad je u pitanju prodaja automobila. Kao sto se moze videti ni jedan vodeci search bot nema dozvolu da pridje ovom sajtu (ukljucujuci i Vast..:). Tamo je u svakom trenutku ponudjeno 7+ miliona automobila. Ni jedan od tih rezultata nije moguce pronaci ni ja jednom centralizovanom pretrazivacu. Za P2P pretrazivac kakav je Edgios to nije nikakav problem. Content provideri su generalno pogodjeni indexiranjem njihovh stranica od strane velikih pretrazivaca i mnogi od njih pribegavaju ovakvim merama. Craigslist je mozda najbolji primer, 23 miliona malih oglasa svaki dan online, ni jedan necete naci ni na jednom pretrazivacu. Deep web search, odnosno indexiranje dinamickih web strana je takodje nesto sto je nemoguce postici centralizovanom tehnologijom. Za Edgios, svaka dinamcka stranica je kao i svaka druga. |
Citat:
pokusavam da napravim statistiku na mom sajtu, i zelim da u statistici broj otvorenih stranica uspesno izdvojim od broja otvorenih stranica koji spajderi otvore :) |
Za sada, odlucili smo se da ne koristimo crawlere. Svi rezultati koji se trenutno nalaze u Edgios indexu su posledica surfovanja pojedinacnih korisnika.
|
^ Pa po ovome što gore piše nema USER_AGENT već indeksira web kontent koji ti gledaš kroz browser. Da ima user_agent onda bi ga lako blokirali gorepomenuti sajtovi u svom robots.txt i onda se gubi ta "prednost" o kojoj Ben govori.
|
kapiram :)
cool, ali se tako dosta veliki content nece nikada ni indexirati... |
Pa indeksiraće se onaj kontent koji je neko već posetio. U tome je valjda i kvaka, da se indeksira i pretražuje ono što je neko već gledao i samim tim što je neko posetio neku stranicu ona dobija na težini u odnosu na one zaturene u budžaku nekog sitemapa koje niko nikad neće posetiti osim Googlebota.
|
Upravo tako. Na taj nacin povecavamo kvalitet pretrage uz relativno mnogo manji index.
|
Pozdrav Bene,
Zanima me kako rjesavate (i da li rjesavate? :)) problem dinamickih stranica koje nastaju/dostupne su samo ulogovanim korisnicima, i to kroz neku custom identifikaciju, neki cookie ili slicno? Slicno, kako rjesavate problem privatnosti u ovome slucaju: recimo da ima neki sajt i recimo da postoje odredjeni dijelovi tog sajta koji su dostupni samo ulogovanim korisnicima sa odredjenim privilegijama. Da li vi prakticno skupljate i takve URL-ove i cinite ih javno dostupnim kroz indeks ili ne? Dakle, to ne moraju biti https stranice, vec stranice kao i svake druge, koje na neki svoj interni nacin biraju da li su vidljive ili ne nekom korisniku. Najpozeljnija varijanta je naravno da cak ni URL takvih adresa nije javni podatak. Kako vi rukujete sa takvim sadrzajima i da li ih indeksirate? |
Ne postoji tehnicka mogucnost da sadrzaj bilo koje stranice kojoj prethodi password challenge udje u index. Isto vazi i za https protokol, cookie itd.
Korisnici mogu potpuno bezbedno da koriste svoje webmail, ebanking ili bilo koje druge privatne servise bez bojazni da ce bilo sta da se indexira. To smo sprecili tehnologijom unosenja u index koji tu mogucnost u potpunosti otklanja. Naravno, postoje sajtovi koji nemaju nista od ovoga a njihov sadrzaj je ipak privatnog karaktera (najbolji primer je evit.com) tako da smo morali da ih hardkodujemo da ne ulaze u index. |
greska u kucanju, mislio sam na evite.com..:)
|
a recimo privatne poruke na forumima?
forumi pamte login, pa se korisnik ne loguje uvek... pa je tesko skontati da li je nesto privatan sadrzaj ili nije... kako to resavate? takodje i skriveni potforumi na taj nacin postaju dostupni svima... ili ne? |
@Peca - ne, nisu dostupni jer ipak zahtevaju cookie.
|
pa dosta sajtova sama dodeli cookie ili sesiju :-/
recimo i Vesti.rs dodeljuju sesiju svakome... retko koji sajt ne dodeli bar neki cookie... svi forumi to cine. svi ti sajtovi nece biti indexirani? ili samo oni koji su zahtevali neki submit? sve vise sajtova postaje interaktivno i zahteva neki submit ili login... bice bas problem razdvojiti privatan sadrzaj od javnog, a ne ignorisati sve sajtove koji su zahtevali neki submit... |
Tehnologija azuriranja indexa apslotuno onemogucava indexiranja bilo kakvog privatnog sadrzaja. NDA me sprecava da ulazim u detalje ali takva mogucnost je apsolutno iskljucena.
Dakle, ne postoji nikakva tehnicka mogucnost da bilo kakav privatni sadrzaj bude indexiran. |
Ako ključnu stvar sakrivate iza NDA, plašim se da ćete naići na izuzetno negativan prijem. Moraćete to da objasnite pre nego što krenete masivnije da se širite.
|
Da iskopiram komentar koji sam već ostavio kod RainDog-a:
Ne sviđa mi se - ni kao ideja, a bogami ni sa strane privatnosti. Prvo, indeks će sadržati strane koje su korisnici obišli; šta sa ostalim sajtovima za koje korisnici ne znaju? Kako doći do njihovog sadržaja? Kako proceniti kvalitet pretraživanja ako možda najbolji sajt iz date oblasti nije ni ušao u indeks jer ga niko nije posetio. Takođe, kako će se puniti indeks? Tako što odem na Google, nađem šta mi treba, kliknem, a proces u pozadini to zapamti i pošalje na p2p Edgios mrežu. U stvari, ovo nije novi pretraživač, ovo je ogromna web istorija učesnika u projektu. Možda nešto debelo propuštam (ipak informacija nema dovoljno) ali za sada, ne sviđa mi se. |
Jedina stvar koja mi pada na pamet je da svaki upit koji se pošalje standardno, vi pošaljete još jednom, ali bez cookija. Ako je to, neki network sniffer će odmah da otkrije, tako da mi je čudno da se to krija iza NDA. Svaka druga varijanta je neki algoritam koji odlučuje šta je privatno a šta ne. Nadam se da se ne pouzdajete u tako nešto :)
|
Za sada samo mali hint: racunar koji je posetio stranicu uopste nije taj koji azurira index. To je uvek neki drugi racunar u Edgios mrezi.
|
a jel postoji centralni server koji odrzava spisak svih korsnika, ili postoji neka druga fora kako se masine na P2P mrezi medjusobno pronalaze?
Ono sto ja vidim kao glavni problem je sto je potrebna ogromna baza korisnika da bi ovo zaista bilo korisno, jer postoji ono 6-steps pravilo, mi se svi manje vise krecemo u zatvorenim krugovima i uglavnom znamo za iste sajtove. Jako zanimljiva ideja, ali mislim da ce potrajati dok zameni uobicajene crawlere. |
Ok, ne moraš da odgovaraš dalje na ovu temu, da ne bi dospeo u probleme zbog NDA. Ja ću još malo da proanaliziram. Ne vidim kako bi drugi računar mogao da pomogne. Šta ako je taj drugi računar već ulogovan na isti taj sajt? Onda njegovi privatni podaci mogu da budu otkriveni. E sad, možda je ideja da više računara dohvati isti sadržaj, pa da se gleda da li dobijaju isti sadržaj ili imaju nešto personalizovano. I tu bi mogla da se nađe po neka rupa.
A šta je ako se uopšte ne koristi cookie autentikacija, već se session id dodaju u url? Ako takav url ode na drugu mašinu, ode i sesija tamo. Sve u svemu, ne da ovo ne bi smelo da bude NDA, već bi trebalo da imate stranu na sajtu gde detaljno objašnjavate šta i kako radite. Bar bi ja tako radio da sam siguran u svoj pristup. Ako vam se desi private leak, mislim da je tu priča gotova. |
Ne postoji centralni server, ali postoji bootstrap backbone koji nam je bio neophodan da inicijalno pokrenemo mrezu. U normalnim uslovima on nece biti neophodan.
|
Citat:
Mislim samo razmišljam na glas... |
skype isto trosi korisnicki bandwidth, pa ga ljudi masovno koriste... trik je da ne kazes korisnicima :P
|
Jel' ovo ima neke veze sa Edgio.com? Da ne bude opet da se nudi resenje za nepostojeci problem (gledano sa korisnicke strane).
|
Nema.
Koliko se secam Edgio.com je bio vertical search start-up koji je ugasen pre otprilike godinu dana. Sa nama nema nikakve veze. |
| Vreme je GMT +2. Trenutno vreme je 19:51. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.