Svetska premijera i testiranje pretraživača www.edgios.com

[srdjan]

Primedba netehničke vrste: možda je ime samog servisa previše kriptično, ipak projekat ovog tipa treba da zaživi i van naprednih krugova korisnika.

[zira]

Originalno napisao Ben

Tehnologija azuriranja indexa apslotuno onemogucava indexiranja bilo kakvog privatnog sadrzaja. NDA me sprecava da ulazim u detalje ali takva mogucnost je apsolutno iskljucena.

Dakle, ne postoji nikakva tehnicka mogucnost da bilo kakav privatni sadrzaj bude indexiran.

Nazalost, niste u pravu sto se tice privatnih stranica. Privatne stranice cure u index. Naravno, korisnik ne dobije sam sadrzaj stranice, vec bude redirektovan na login ili mu se prikaze login ili tako nesto, ali cinjenica je da se u indeksu nalaze URL-ovi stranica koje tamo ne bi smjele biti, tj koje su namjenjene i ciji pravi sadrzaj vide samo ulogovani korisnici (sa odredjenim privilegijama). Ne vidim nikakav smisao da se takav URL nadje u indeksu, osim sto otvara sigirnosne probleme na tako indeksiranim stranicama.

Usput, moje mrezno okruzenje ne dozvoljava rad u full modu, samo limited (prva stranica rezultata), tako da ne znam koliko privatnih stranica sa mojih sajtova imate u indeksu, ali cinjenica da ih imate u indeksu znaci da ovaj softver istog trenutka ide sa mog racunara. Zao mi je jer stvarno bih volio da vas podrzim, ali moja i privatnost mojih korisnika je na prvom mjestu.

[LiquidBrain]

Ovo moze da bude izvodljivo samo ukoliko se da source kod na uvid... Niko nece da dozvoli da nesto salje podatke nekom, a da pri tome nema nikakav uvid u to...

[ikabiljo]

Dobar dan svima.

Probacu malo bolje da objasnim stvari vezane za privatnost, da ne bi bilo zabune. Izvinjavamo se sto odmah nije detaljno objasnjeno, videcemo gde cemo dodati detaljno objasnjenje.


Za odredjeni url, u indeks se ubacuje stranica koju svako moze videti, ako otkuca taj url na proizvoljni racunar, bez ikakvog ranijeg logovanja. Tako vasi mailovi, privatni forumi, ... ne mogu uci u indeks.
Dakle url za mail je javni url, i kada odete ne njega on vam da login ekran, i ta login stranica ulazi u indeks. Dakle nijedna privatna informacija nece biti ubacena u indeks - sto mozete videti i iz snippeta. (a sam url ne sadrzi nijednu privatnu informaciju, i niko ga ne moze iskoristiti da nesto sazna. A i taj url je javna stvar, od toga da vas internet provajder ga ima - cak kolko znam po zakonu mora sve da ih i belezi)


Postoje sajtovi koji na javnim urlovima imaju privatne stvari (url je komplikovan, pa se racuna da niko ne moze da ga pogodi). Jedan od takvih sajtova je evite.com (to je razlicito od sajtova koji drze sesiju u urlu, jer oni proveravaju i ip i url). Mi trenutno imamo odredjeni spisak takvih sajtova, i njih ne ubacujemo. Korisnik moze na vise nacina da onemoguci obacivanje odredjenih sajtova u indeks:
- moze da doda odredjeni domen na blacklistu (nalazi se u websettingsu). Tu korisnik moze da doda i proizvoljne druge sajtove, ako ne zeli da budu dodati u indeks.
- moze da nam javi za taj sajt, i mi cemo ga dodati u internu blacklistu
- ako vec udje u indeks, moze da nas obavesti, i mi cemo odmah izbaciti te konkretne rezultate koji ne bi trebali da budu u indeksu, i dodati sajt na blacklistu.

Dakle, ovo moze biti problem samo za odredjeni mali broj sajtova, koji u sustini javne linkove pokusavaju da budu privatni komlikovanim url-ovima. I korisnik, pomocu blackliste, i dalje ima kontrolu.

Ako i dalje ima nesto nejasno, slobodno pitajte, nas cilj je da korisnicka privatnost bude na najvisem nivou.

[Ivan]

1. Sta je sa sajtovima koji koriste OpenID za login ? Kako njih prepoznajete ?
2. Sta je sa zlonamernim linkovima (phishing) ? Da li postoji neki nacin zastite ?
3. CSRF linkovi ? Neka logika za prepoznavanje istih ?
4. Zasto blacklist sistem, on nije uvek pametno resenje ... ?

[Peca]

5. Da li Edgios odbija da indexira sajt koji dodeljuje session cookies [a korisnik se nije logovao] ?

[mileusna]

Originalno napisao ivanhoe

skype isto trosi korisnicki bandwidth, pa ga ljudi masovno koriste... trik je da ne kazes korisnicima :P

Znam da Skype to isto radi, ali isto tako znam i da mi Skype pruža jeftine telefonske pozive sa čitavim svetom.

Sa druge strane ovde imamo nešto što u narednih 5 godina neće davati rezultate ni približne onome što daje Google a istovremeno ti srče resurse, dok ti Google sve daje za dž.

[zira]

Hvala na odgovoru, mada mi i dalje nije jasno zasto to tako radite (osim da je to jednostavno tako jer ne moze drugacije?)

Dakle, scenario je: sajt.com ima custom cookie login mehanizam, koji Edgios ne moze da razumije i on prakticno na zna da li je taj covjek ulogovan ili ne. Kada Recimo da je Edgios korisnik neki power user/admin na sajt.com koji ima pristup nekim skriptovima za upravljanje i neke globalne izmjene i odrzavanje. Sve custom. Edgios ce pratiti tog power usera i prakticno pratiti sve njegove korake i biljeziti sve njegove skripte koje je koristio i slati na indeksiranje. Kada se pokusa indeksiranje, sadrzaj tih strana nece biti otkriven, jer ce sajt.com "napu****i" indeksera koji nece imati (u ovome slucaju) privilegije da pridje toj strani.

No, ono sto je problem je sto ce taj sajt.com/admin_make_backup.do npr uci u index i kada neki Edgios korisnik ukuca ime sajta ili npr keyword backup ce izaci kao rezultat!

Dakle, koja je korist od toga, osim sto pravi stetu u smislu otvaranje potencijalnih sigurnosnih rupa?

Black liste jednostavno nisu rjesenje za to.

[zira]

Aj da ne budem baksuz
Iako ovaj problem vjerovatno nije moguce potpuno izbjeci, u dobrom broju slucajeva ga mozete rijesiti jednostavnim slanjem checksum-a sadrzaja uz URL sa originalnog racunara ka indekseru, uz odredjenu malu toleranciju checksuma (npr zbog banner-koda, datestamp-a i slicnih stvari).

Ako se checksumi na originalnom racunaru i indekseru znatno razlikuju, taj URL svakako ne bi trebalo indeksirati, vec potpuno zanemariti jer je vrlo vjerovatno to privatna stranica nedostupna obicnom surferu, i nema smisla listati je kao rezultat pretrage.

[xippi]

hvala na odgovoru, ali ja moram da ponovim pitanje

po cemu je distribuirani index bolji/brzi od centralizovanog ? po cemu je edgios bolji od nekog browserskog plugina koji prati korisnikov surf i salje sav info u centralizovan index, nad kojim je kasnije moguce vrsiti pretragu ? u oba slucaja krecemo od permise da korisnik zeli da deli lokacije po kojima surfa

btw slazem se da ovo ima vece sanse za uspeh kao open source projekat. ovako je sve previse maglovito