![]() |
Ima josh jedna stavka a koja je mozda najbitnija... A to je da kada sufrujem ne zelim stalno da mislim o tome da li ovaj link trebam da dodam u blacklistu... to nece moci tako...
|
a najjednostavnije im je da bot na PC-u sam krstari netom, bez cookies-a...
tako sigurno nece uleteti nista privatno. od browsera moze dobiti samo URL gde se korisnik krece. zatim bot sam downloaduje stranicu bez cookiesa, i kraj price. tako bi bot mogao sam da krstari dublje po sajtu, dok korisnik recimo ne koristi racunar. jedini problem su URL adrese koje same po sebi predstavljaju autentifikaciju, tj. tajne URL adrese. to vec ni ja nemam ideju kako resiti :S zapravo, to bi se resilo ako bi bot od browsera dobijao samo ime domena, ne i celu URL adresu. to bi malo vise otezalo crawling... ali ne vidim drugo resenje. |
Hvala na komentarima i zainteresovanosti!
Generalno ovo je tek prvi alfa release, imamo jos svasta mi u planu. :) Konkretno neki (komplikovaniji) oblik takvog checksuma ce biti primenjen. A za sajtove kao sto su evite i silcni, ne vidim drugi nacin osim black liste. Ako imate neki predlog, unapred hvala na pomoci. :) - Sajtovi koji se loguju pomocu openida su sigurni - Phishing filter trenutno nemamo. Mada rankiranje i report spam dugme mogu pomoci u tome - edgios indeksira i sajtove koji imaju cookies, a da se korisnik nije ulogovao, ali samo kako su vidljivi bez cookiesa, znaci kao da taj url npr iz firefoxa iskopirate u explorer, i vidite sta dobijete. Generalno to moze biti osnovna provera kako nesto ulazi u indeks, mada posto je isti ip, za neke sajtove imate i dodatnu sigurnost. Ako vas zanima da li stvarno dobro radi za odredjeni specijalni sajt (koji u prethodnom testu pokazuje privatni content u drugom browseru), slobodno pitajte/posaljite na feedback. Dakle da ponovim, jedini problem su javne komplikovane adrese, koje treba da predstavljaju privatne, ali skupili smo spisak takvih sajtova, jos uvek niko nije naleteo da je nesto privatno ubaceno u indeks. Black lista i vas feedback je samo za svaki slucaj, ako se pojavi jos nesto, u ekspresnom periodu cemo reagovati na to. I ova gore prica se odnosi na to kako da se i login screenovi ne ubacuju u indeks, sto nije neophodno da bi vasa privatnost bila zagarantovana. Sto se tice distribuirano vs centralizovano, ima tu dosta prednosti, jos nismo sve ni implementirali, ali pored toga sto je rankiranje bolje, skalabilnost je bitna, tako da sa povecanjem broja korisnika sistem je bolji, brzi, korisniji, za razliku od centralizovanog pristupa. Takodje, samo da kazem, posto verovatno nije objasnjeno, Edgios radi i u limited modu sasvim normalno, doduse pretraga je malo sporija i samo prva strana rezultata je vidljiva. Takodje ako nemate flat internet najbolje je da stavite "force limited mode" u settingsu. |
Off Topic: ^ jel ti Sanja Kabiljo neki rod? Mozda lupam, ali zar ne bi mogli da probate da uporedite stranice koje su dobili user A i user B u nekom dovoljno malom vremenskom razmaku, i ako su dobili istu stranu onda pretpostavite da je to public strana? |
Citat:
|
Nije mi Sanja Kabiljo rod. :)
A kazem, za taj tvoj primer sve ce raditi lepo, problem je ako A i B dobiju istu stranicu, a ona je i dalje smatrana za privatnu, te izuzetke posebno gledamo. |
Off Topic: a taman pomislis da je ponestalo zabave na dpt-u.. jos sad kad udari ova finansijska kriza... uuuu bice veselo ;) :D |
Citat:
Blackliste kao sto rekoh ne funkcionisu dovoljno dobro u ovome slucaju, jer ne vidim u realnosti da cete neki 54-ti po popularnosti sajt za slanje online razglednica u Kirgistanu imati u blacklisti prije nego sto nekoga izblamirate objavljivanjem njegove privatne poruke u svom indeksu? :) |
A sta kažete tek na newsletter pretplate, gde potvrđuješ tako što dobiješ mail sa linkom tipa:
aaa.com/subscribe-confirm.php?email=pera.peric@gmail.com To radi bez cooki-ja, i čas posla odoše mailovi u indeks. |
ja i dalje smatram da je jedini izlaz iz corsokaka da bot dobije samo ime domena, ne i ceo URL...
i onda bot lagano da crawle-uje sajt u pozadini... naravno u sinhronizaciji sa ostalim botovima... |
Vreme je GMT +2. Trenutno vreme je 13:55. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.