Primedba netehničke vrste: možda je ime samog servisa previše kriptično, ipak projekat ovog tipa treba da zaživi i van naprednih krugova korisnika.

Nazalost, niste u pravu sto se tice privatnih stranica. Privatne stranice cure u index. Naravno, korisnik ne dobije sam sadrzaj stranice, vec bude redirektovan na login ili mu se prikaze login ili tako nesto, ali cinjenica je da se u indeksu nalaze URL-ovi stranica koje tamo ne bi smjele biti, tj koje su namjenjene i ciji pravi sadrzaj vide samo ulogovani korisnici (sa odredjenim privilegijama). Ne vidim nikakav smisao da se takav URL nadje u indeksu, osim sto otvara sigirnosne probleme na tako indeksiranim stranicama.

Usput, moje mrezno okruzenje ne dozvoljava rad u full modu, samo limited (prva stranica rezultata), tako da ne znam koliko privatnih stranica sa mojih sajtova imate u indeksu, ali cinjenica da ih imate u indeksu znaci da ovaj softver istog trenutka ide sa mog racunara. Zao mi je jer stvarno bih volio da vas podrzim, ali moja i privatnost mojih korisnika je na prvom mjestu.

Ovo moze da bude izvodljivo samo ukoliko se da source kod na uvid... Niko nece da dozvoli da nesto salje podatke nekom, a da pri tome nema nikakav uvid u to...

Dobar dan svima.

Probacu malo bolje da objasnim stvari vezane za privatnost, da ne bi bilo zabune. Izvinjavamo se sto odmah nije detaljno objasnjeno, videcemo gde cemo dodati detaljno objasnjenje.


Za odredjeni url, u indeks se ubacuje stranica koju svako moze videti, ako otkuca taj url na proizvoljni racunar, bez ikakvog ranijeg logovanja. Tako vasi mailovi, privatni forumi, ... ne mogu uci u indeks.
Dakle url za mail je javni url, i kada odete ne njega on vam da login ekran, i ta login stranica ulazi u indeks. Dakle nijedna privatna informacija nece biti ubacena u indeks - sto mozete videti i iz snippeta. (a sam url ne sadrzi nijednu privatnu informaciju, i niko ga ne moze iskoristiti da nesto sazna. A i taj url je javna stvar, od toga da vas internet provajder ga ima - cak kolko znam po zakonu mora sve da ih i belezi)


Postoje sajtovi koji na javnim urlovima imaju privatne stvari (url je komplikovan, pa se racuna da niko ne moze da ga pogodi). Jedan od takvih sajtova je evite.com (to je razlicito od sajtova koji drze sesiju u urlu, jer oni proveravaju i ip i url). Mi trenutno imamo odredjeni spisak takvih sajtova, i njih ne ubacujemo. Korisnik moze na vise nacina da onemoguci obacivanje odredjenih sajtova u indeks:
- moze da doda odredjeni domen na blacklistu (nalazi se u websettingsu). Tu korisnik moze da doda i proizvoljne druge sajtove, ako ne zeli da budu dodati u indeks.
- moze da nam javi za taj sajt, i mi cemo ga dodati u internu blacklistu
- ako vec udje u indeks, moze da nas obavesti, i mi cemo odmah izbaciti te konkretne rezultate koji ne bi trebali da budu u indeksu, i dodati sajt na blacklistu.

Dakle, ovo moze biti problem samo za odredjeni mali broj sajtova, koji u sustini javne linkove pokusavaju da budu privatni komlikovanim url-ovima. I korisnik, pomocu blackliste, i dalje ima kontrolu.

Ako i dalje ima nesto nejasno, slobodno pitajte, nas cilj je da korisnicka privatnost bude na najvisem nivou.

1. Sta je sa sajtovima koji koriste OpenID za login ? Kako njih prepoznajete ?
2. Sta je sa zlonamernim linkovima (phishing) ? Da li postoji neki nacin zastite ?
3. CSRF linkovi ? Neka logika za prepoznavanje istih ?
4. Zasto blacklist sistem, on nije uvek pametno resenje ... ?

5. Da li Edgios odbija da indexira sajt koji dodeljuje session cookies [a korisnik se nije logovao] ?

Znam da Skype to isto radi, ali isto tako znam i da mi Skype pruža jeftine telefonske pozive sa čitavim svetom.

Sa druge strane ovde imamo nešto što u narednih 5 godina neće davati rezultate ni približne onome što daje Google a istovremeno ti srče resurse, dok ti Google sve daje za dž. :)

Hvala na odgovoru, mada mi i dalje nije jasno zasto to tako radite (osim da je to jednostavno tako jer ne moze drugacije?)

Dakle, scenario je: sajt.com ima custom cookie login mehanizam, koji Edgios ne moze da razumije i on prakticno na zna da li je taj covjek ulogovan ili ne. Kada Recimo da je Edgios korisnik neki power user/admin na sajt.com koji ima pristup nekim skriptovima za upravljanje i neke globalne izmjene i odrzavanje. Sve custom. Edgios ce pratiti tog power usera i prakticno pratiti sve njegove korake i biljeziti sve njegove skripte koje je koristio i slati na indeksiranje. Kada se pokusa indeksiranje, sadrzaj tih strana nece biti otkriven, jer ce sajt.com "napu****i" indeksera koji nece imati (u ovome slucaju) privilegije da pridje toj strani.

No, ono sto je problem je sto ce taj sajt.com/admin_make_backup.do npr uci u index i kada neki Edgios korisnik ukuca ime sajta ili npr keyword backup ce izaci kao rezultat!

Dakle, koja je korist od toga, osim sto pravi stetu u smislu otvaranje potencijalnih sigurnosnih rupa?

Black liste jednostavno nisu rjesenje za to.

Aj da ne budem baksuz :)
Iako ovaj problem vjerovatno nije moguce potpuno izbjeci, u dobrom broju slucajeva ga mozete rijesiti jednostavnim slanjem checksum-a sadrzaja uz URL sa originalnog racunara ka indekseru, uz odredjenu malu toleranciju checksuma (npr zbog banner-koda, datestamp-a i slicnih stvari).

Ako se checksumi na originalnom racunaru i indekseru znatno razlikuju, taj URL svakako ne bi trebalo indeksirati, vec potpuno zanemariti jer je vrlo vjerovatno to privatna stranica nedostupna obicnom surferu, i nema smisla listati je kao rezultat pretrage.

hvala na odgovoru, ali ja moram da ponovim pitanje :)

po cemu je distribuirani index bolji/brzi od centralizovanog ? po cemu je edgios bolji od nekog browserskog plugina koji prati korisnikov surf i salje sav info u centralizovan index, nad kojim je kasnije moguce vrsiti pretragu ? u oba slucaja krecemo od permise da korisnik zeli da deli lokacije po kojima surfa

btw slazem se da ovo ima vece sanse za uspeh kao open source projekat. ovako je sve previse maglovito

Ima josh jedna stavka a koja je mozda najbitnija... A to je da kada sufrujem ne zelim stalno da mislim o tome da li ovaj link trebam da dodam u blacklistu... to nece moci tako...

a najjednostavnije im je da bot na PC-u sam krstari netom, bez cookies-a...
tako sigurno nece uleteti nista privatno.

od browsera moze dobiti samo URL gde se korisnik krece.
zatim bot sam downloaduje stranicu bez cookiesa, i kraj price.
tako bi bot mogao sam da krstari dublje po sajtu, dok korisnik recimo ne koristi racunar.

jedini problem su URL adrese koje same po sebi predstavljaju autentifikaciju, tj. tajne URL adrese.
to vec ni ja nemam ideju kako resiti :S
zapravo, to bi se resilo ako bi bot od browsera dobijao samo ime domena, ne i celu URL adresu.
to bi malo vise otezalo crawling... ali ne vidim drugo resenje.

Hvala na komentarima i zainteresovanosti!

Generalno ovo je tek prvi alfa release, imamo jos svasta mi u planu. :) Konkretno neki (komplikovaniji) oblik takvog checksuma ce biti primenjen. A za sajtove kao sto su evite i silcni, ne vidim drugi nacin osim black liste. Ako imate neki predlog, unapred hvala na pomoci. :)


- Sajtovi koji se loguju pomocu openida su sigurni
- Phishing filter trenutno nemamo. Mada rankiranje i report spam dugme mogu pomoci u tome
- edgios indeksira i sajtove koji imaju cookies, a da se korisnik nije ulogovao, ali samo kako su vidljivi bez cookiesa, znaci kao da taj url npr iz firefoxa iskopirate u explorer, i vidite sta dobijete. Generalno to moze biti osnovna provera kako nesto ulazi u indeks, mada posto je isti ip, za neke sajtove imate i dodatnu sigurnost. Ako vas zanima da li stvarno dobro radi za odredjeni specijalni sajt (koji u prethodnom testu pokazuje privatni content u drugom browseru), slobodno pitajte/posaljite na feedback.

Dakle da ponovim, jedini problem su javne komplikovane adrese, koje treba da predstavljaju privatne, ali skupili smo spisak takvih sajtova, jos uvek niko nije naleteo da je nesto privatno ubaceno u indeks. Black lista i vas feedback je samo za svaki slucaj, ako se pojavi jos nesto, u ekspresnom periodu cemo reagovati na to. I ova gore prica se odnosi na to kako da se i login screenovi ne ubacuju u indeks, sto nije neophodno da bi vasa privatnost bila zagarantovana.


Sto se tice distribuirano vs centralizovano, ima tu dosta prednosti, jos nismo sve ni implementirali, ali pored toga sto je rankiranje bolje, skalabilnost je bitna, tako da sa povecanjem broja korisnika sistem je bolji, brzi, korisniji, za razliku od centralizovanog pristupa.

Takodje, samo da kazem, posto verovatno nije objasnjeno, Edgios radi i u limited modu sasvim normalno, doduse pretraga je malo sporija i samo prva strana rezultata je vidljiva. Takodje ako nemate flat internet najbolje je da stavite "force limited mode" u settingsu.

Mozda lupam, ali zar ne bi mogli da probate da uporedite stranice koje su dobili user A i user B u nekom dovoljno malom vremenskom razmaku, i ako su dobili istu stranu onda pretpostavite da je to public strana?

zasto ? na koji nacin bolje ?

Nije mi Sanja Kabiljo rod. :)

A kazem, za taj tvoj primer sve ce raditi lepo, problem je ako A i B dobiju istu stranicu, a ona je i dalje smatrana za privatnu, te izuzetke posebno gledamo.

Pa stvar je jednostavna, ukoliko ne postoji nijedan link u indeksu na tu stranu, postoji prilicna vjerovatnoca da je ta strana privatna (ili bas nova, ali prije privatna... to se da razraditi).

Blackliste kao sto rekoh ne funkcionisu dovoljno dobro u ovome slucaju, jer ne vidim u realnosti da cete neki 54-ti po popularnosti sajt za slanje online razglednica u Kirgistanu imati u blacklisti prije nego sto nekoga izblamirate objavljivanjem njegove privatne poruke u svom indeksu? :)

A sta kažete tek na newsletter pretplate, gde potvrđuješ tako što dobiješ mail sa linkom tipa:

aaa.com/subscribe-confirm.php?email=pera.peric@gmail.com

To radi bez cooki-ja, i čas posla odoše mailovi u indeks.

ja i dalje smatram da je jedini izlaz iz corsokaka da bot dobije samo ime domena, ne i ceo URL...
i onda bot lagano da crawle-uje sajt u pozadini... naravno u sinhronizaciji sa ostalim botovima...

Gde su tu pare?

dobijes kad zavrnes ruku investitoru ? :)

Kako gde su? Sponsored search results... :)

Cekaj da cujemo, mozda ce i tu nesto revolucionarno da se desi :)
Bez zezanja, stvarno bih htela da doprinesem testiranjem cele stvari ali na zalost nisu me dosad ubedili svojim sales pitch-om. Ako ni nas "patrijote" ne mogu da ubede, onda ne znam koga ce... Mozda ja tu nesto propustam?

Ali to opet znači da se pribjegava metodi standardnog crawlera, zato to nije dobro rješenje, a backlista je definitivno najgore moguće.

Pratim diskusiju i jos nisam nashao razlog koji bi me ubjedio da instaliram aplikaciju na racunar, koja mora biti pokrenuta dok browsam i koja radi nesto sto ja ne znam tacno - taman da sve vjerujem napisanom. Znaci, mogao bih to uraditi ali zasto? Puno toga sto je napisano su poredjenja koja su vrijedna velikim pretrazivacima ali meni obicnom - ne vidim.

Mozda je ovo IQ test? u tom slucaju, jos me manje zanima gde se po internetu muvaju ljudi spremni da svesno instaliraju nesto sto po svemu sudeci lici na spyware (makar to bio i reverse spying on big, bad corporations), sa mutnom privacy policy (sigurni ste u nasim rukama, casna pionirska), sa mutnim nacinom rada (NDA), sto zahteva rad i dosta strucnog znanja samog korisnika (back-listing), developed in Serbia (is that close to Nigeria?), sa ..... dajte nam bar pola razloga!

Jer sam ih zamolio da to urade u prvom postu ove diskusije :)
I svima se srdačno zahvaljujem na tome i na komentarima

ma nije to problem, imao sam klijente koji su valjali potpuno beskorisne FF toolbarove vrlo uspesno (~50000 instalacija za 2 nedelje), lako je ubediti ljude da instaliraju sve i svasta, ako imas dovoljno kinte i dobar marketing... problem je spreciti ih da isto to ne deinstaliraju posle 2 dana... :)

just playing devil's advocate... uvek dobro kao trening za overcoming objections.

Hvala svima na komentarima.

Da ponovim, ovo je prva javna verzija Edgiosa - test, odnosno alfa verzija, tako da prilican broj stvari ce biti bolji-drugaciji dok stignemo do full verzije. Glavna stvar koja ne moze da se sazna iz internog testiranja, je sta korisnici misle o tome, tako da se opet svima zahvaljujem na komentarima.

Sto se tice privatnosti, trenutno je tako, da ste na 99% sajtova sigurni, one koje niste mozete dodati na black listu, ili jos bolje obavestiti nas. Trenutno radimo na resavanju tog problema, na par nacina. A pritom, ti sajtovi ne drze nijednu stvarno vrednu privatnu informaciju. Jer je to vidljivo svakom na vasem putu do tog sajta, od lokalnog, do globalnog internet provajdera, i sire. I oni to cuvaju i rade sa tim sta im je volja, da vi to i ne znate. Samim tim nijedna stvarno vredna stvar se ne nalazi u tim informacijama, jer sajtovi koji imaju takve informacije i brinu o tome da ih niko ne moze videti. Ako se bas plasis za svoju privatnost, jednostavno ne moras instalirati ekstenziju za browser i miran si, sto se toga tice.

Sta vam Edgios nudi? Trenutno ne pretragu bolju od googla, a i mora da se instalira. Trenutno je jos indeks mali, tako da rezultati nisu potpuni, ali pojedine oblasti su prilicno dobro pokrivene, i moze se naci prilican broj zanimljivih sajtova. Ima dobar rss reader, mozete gledati vasu webistoriju (tu se nalaze sajtovi kako ste ih vi videli, znaci privatni), imate hot listu najzanimljivijih sajtova, reci, itd. Generalno za dosta stvari nudi dobru alternativu. I kao sto rekoh, jos smo u test fazi, tako da i ne ocekujemo da budemo odmah bolji od googla, ali sa vecim brojem korisnika, i dodatnim stvarima na kojima se trenutno radi, verujemo da to i nije tako daleko.
Generalno kada izadjemo iz test faze, i kada skupimo dovoljni broj korisnika, oni i nece zeleti da deinstaliraju posle par dana, iako im prvog dana mozda nije radio preterano dobro. :)

Pitanje privatnosti je bilo jedno od prvih koje smo morali debelo da obrazlazemo investitorima jos u toku Serije A finansiranja projekta. Ne bih zeleo da ovde ostane utisak kada je u pitanju privatnost da tom problemu nismo posvetili dovoljno paznje. Na zalost, konkretna implementacija ne moze biti izlozena na otvorenom forumu.

Slazem se medjutim, i to je ovde vise puta sa pravom ponovljeno, da moramo da pronadjemo adektvatan nacin da "ubedimo" korisnike da je privatnost bila jedan od najvecih prioriteta i da je korisnik sa tog aspekta bezbedan. Za obicnog korisnika tehnicko objasnjenje moze samo da unese dodatnu konfuziju, ali na forumu kao sto je ovaj to je od kljucnog znacaja. Gledacemo da pronadjemo adekvatan nacin da to i pokazemo.

Uzgred, jedno pitanje za administratore, Bora je nekoliko puta pokusavao da se ukljuci u ovu diskusiju ali ima problem sa registracijom. Da li postoje neka ogranicenja u tom smislu s obzirom da je on trenutno u USA.

bezbedan 99%... i baba bi bila deda da ima onu stvar... U sustini s'obzirom da ovo nije open source proizvod, sta garantuje da ce svaki propust biti ispravljen na vreme, objavljen da postoji i te takve stvari... A sem toga... izgleda da je vreme da se vratimo na java decompile...

Pozdrav svima, i hvala na komentarima i interesu.

Ovde je Borislav Agapiev, ja sam osnivac Edgiosa.

Edgios je u pocetnoj fazi i dosta stvari su jos uvek u razvoju i unapred se izvinjavamo za sve neugodnosti tokom isprobavanja.

Hteo bi samo da dodam u diskusiju perspektivu sa strane investitora iz Silikonske Doline, sa kojima sam dosta u kontaktu :)

Projekat ovoga tipa je ocigledno veoma riskantan, medjutim takodje je i veoma interesantan zbog toga sto je nagrada u slucaju uspeha ogromna. Odnos izmedju ta dva parametra je apsolutno bitan, npr 1% sanse da dobijete $1 milijardu je mnogo vredniji od $1 milion u kesu :)

Nasi clijevi u ovom momentu su da pokazemo da je moguce napraviti SKALABILNU platformu koja moze uspesno da podrzi jednu od najbitnijih aktivosti na Internetu - pretrazivanje. Skalabilnost je apsolutno najbitnija posto npr. sistemi kao Skype imaju fantastican broj masina (10M+) koje ucestvoju s tim sto je problem koji resavaju (VOIP) ni izbliza nije toliko zahtevan kao pretrazivanje. Drugim recima ukoliko pokazete da je moguce napraviti takvu plaformu koja ima ogroman potencijal, onda broj korisnika postaje problem koji je veoma bitan ali je definisan primarno troskom, tj koliko vremena/truda/znanja/para/vestine vam treba da dostignete kriticnu masu.

Inace Skype je odlican primer, posto su investitori isti :)

Druga bitna poenta je da se sve vise siri u javnosti svest da je tzv "user attention data" npr. istorija vasih pretraga i klikova koju cuvaju pretrazivaci veoma bitna i moze da bude osnova za veliko poboljsanje kvaliteta. Nas pristup je da otvoreno kazemo svima da su ti podaci bitni i zasto su bitni (za rankiranje) i da korisnici imaju kontrolu sta zelite da se deli a sta ne , za razliku od sadasnje industrije gde tu opciju nemate - oni cuvaju vase podatke koliko se njima svidja. Ogroman broj ljudi ne zna npr da Google Toolbar salje ne samo istoriju pretraga na Google nego i sve druge klikove na Google servere.

Open source je apsolutno jedna od opcija koje razmatramo, narocito za neke delove sistema, npr. interface za privatnost, s druge stvari kao sto je rankiranje ne mogu da budu open source zbog mogucnosti za manipulacijom algoritma.

Privatnost na Internetu postaje sve bitnija i bitnija, npr. ima nekoliko predloga zakona u USA i EU za regulaciju tog domena - nas pristup je otvorenost gde kazemo zasto i kako se koriste te informacije, za rankiranje, i samo pod uslovom da se korisnici slazu sa time.

U svakom slucaju trenutne kontrole za privatnost su tek na pocetku i jedan od ciljeva ove kampanje je upravo da ih poboljsamo na osnovu interakcije sa korisnicima.

U vezi jednog od komentara u vezi razvoja u Srbiji, mogu da potvrdim svima da to nije nikakav problem, ustvari naprotiv :), u razgovorima sa tehnickim ekspertima sa Stanforda, Yahoo, Google, Kontiki, Metaweb, Ask, Napster itd oni su vrlo impresionirani da se neko upusta u ovakav projekat.

Ma ne morate govoriti o tome kako ste vi to tehnicki rijesili, mene od pocetka ove price malo nervira insistiranje na gore navedenom. Vidite, postoji bitna razlika izmedju cuvanja i logovanja odredjenih podataka ako to zakon nalaze sa jedne strane i dobrovoljnog pristajanja na cuvanje i logovanje podataka u interesu neke kompanije. Druga i bitna razlika bi bila sto je jedno te podatke cuvati i dati na uvid po sudskom nalogu sa jedne strane i otvoriti ih za World Wide pretrazivanje bilo kome sa druge strane. Znaci, ne da to nije isto vec je potpuno drugacije i cisto takvo objasnjenje nije na mjestu.

Nije na vama da prosudjujete da li tako otkrivene stranice sadrze privatne ili vrijedne podatke, jer to ne mozete znati, pa onda nema ni smisla da tvrdite da one ne ugrozavaju nikoga. Svaki URL koji je neko na bilo koji nacin zelio sakriti (nelinkovanjem, sesijom, custom autorizacijom, kripticnim URL-om i slicno) sadrzi potencijalno osjetljive podatke. I to treba da bude osnova sa koje se krece da bih ja i meni slicni pomislili da ste vi svjesni sta radite i da se moze imati povjerenje u vas.

Bora je savladao DPT a i svoj blog :)

Hardverski zahtevi

• Procesor: klasa Pentium 4 ili noviji
• RAM memorija: minimum: 512 MB, optimalno: 1GB ili više
• Disk: minimum 1 GB slobodnog prostora na disku
• Internet: FLAT Internet konkecija brzine 256 Kbps ili više

Molim? :1041: