DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   IT događaji (http://www.devprotalk.com/forumdisplay.php?f=43)
-   -   Svetska premijera i testiranje pretraživača www.edgios.com (http://www.devprotalk.com/showthread.php?t=6429)

LiquidBrain 13. 10. 2008. 13:06

Ima josh jedna stavka a koja je mozda najbitnija... A to je da kada sufrujem ne zelim stalno da mislim o tome da li ovaj link trebam da dodam u blacklistu... to nece moci tako...

Peca 13. 10. 2008. 13:19

a najjednostavnije im je da bot na PC-u sam krstari netom, bez cookies-a...
tako sigurno nece uleteti nista privatno.

od browsera moze dobiti samo URL gde se korisnik krece.
zatim bot sam downloaduje stranicu bez cookiesa, i kraj price.
tako bi bot mogao sam da krstari dublje po sajtu, dok korisnik recimo ne koristi racunar.

jedini problem su URL adrese koje same po sebi predstavljaju autentifikaciju, tj. tajne URL adrese.
to vec ni ja nemam ideju kako resiti :S
zapravo, to bi se resilo ako bi bot od browsera dobijao samo ime domena, ne i celu URL adresu.
to bi malo vise otezalo crawling... ali ne vidim drugo resenje.

ikabiljo 13. 10. 2008. 13:32

Hvala na komentarima i zainteresovanosti!

Generalno ovo je tek prvi alfa release, imamo jos svasta mi u planu. :) Konkretno neki (komplikovaniji) oblik takvog checksuma ce biti primenjen. A za sajtove kao sto su evite i silcni, ne vidim drugi nacin osim black liste. Ako imate neki predlog, unapred hvala na pomoci. :)


- Sajtovi koji se loguju pomocu openida su sigurni
- Phishing filter trenutno nemamo. Mada rankiranje i report spam dugme mogu pomoci u tome
- edgios indeksira i sajtove koji imaju cookies, a da se korisnik nije ulogovao, ali samo kako su vidljivi bez cookiesa, znaci kao da taj url npr iz firefoxa iskopirate u explorer, i vidite sta dobijete. Generalno to moze biti osnovna provera kako nesto ulazi u indeks, mada posto je isti ip, za neke sajtove imate i dodatnu sigurnost. Ako vas zanima da li stvarno dobro radi za odredjeni specijalni sajt (koji u prethodnom testu pokazuje privatni content u drugom browseru), slobodno pitajte/posaljite na feedback.

Dakle da ponovim, jedini problem su javne komplikovane adrese, koje treba da predstavljaju privatne, ali skupili smo spisak takvih sajtova, jos uvek niko nije naleteo da je nesto privatno ubaceno u indeks. Black lista i vas feedback je samo za svaki slucaj, ako se pojavi jos nesto, u ekspresnom periodu cemo reagovati na to. I ova gore prica se odnosi na to kako da se i login screenovi ne ubacuju u indeks, sto nije neophodno da bi vasa privatnost bila zagarantovana.


Sto se tice distribuirano vs centralizovano, ima tu dosta prednosti, jos nismo sve ni implementirali, ali pored toga sto je rankiranje bolje, skalabilnost je bitna, tako da sa povecanjem broja korisnika sistem je bolji, brzi, korisniji, za razliku od centralizovanog pristupa.

Takodje, samo da kazem, posto verovatno nije objasnjeno, Edgios radi i u limited modu sasvim normalno, doduse pretraga je malo sporija i samo prva strana rezultata je vidljiva. Takodje ako nemate flat internet najbolje je da stavite "force limited mode" u settingsu.

ivanhoe 13. 10. 2008. 13:40

Off Topic: ^ jel ti Sanja Kabiljo neki rod?


Mozda lupam, ali zar ne bi mogli da probate da uporedite stranice koje su dobili user A i user B u nekom dovoljno malom vremenskom razmaku, i ako su dobili istu stranu onda pretpostavite da je to public strana?

xippi 13. 10. 2008. 13:41

Citat:

Originalno napisao ikabiljo (Napišite 61927)
Sto se tice distribuirano vs centralizovano, ima tu dosta prednosti, jos nismo sve ni implementirali, ali pored toga sto je rankiranje bolje...

zasto ? na koji nacin bolje ?

ikabiljo 13. 10. 2008. 13:43

Nije mi Sanja Kabiljo rod. :)

A kazem, za taj tvoj primer sve ce raditi lepo, problem je ako A i B dobiju istu stranicu, a ona je i dalje smatrana za privatnu, te izuzetke posebno gledamo.

kodi 13. 10. 2008. 13:44

Off Topic:
a taman pomislis da je ponestalo zabave na dpt-u..
jos sad kad udari ova finansijska kriza... uuuu bice veselo ;) :D

zira 13. 10. 2008. 17:59

Citat:

Originalno napisao ikabiljo (Napišite 61927)
A za sajtove kao sto su evite i silcni, ne vidim drugi nacin osim black liste. Ako imate neki predlog, unapred hvala na pomoci. :)

Pa stvar je jednostavna, ukoliko ne postoji nijedan link u indeksu na tu stranu, postoji prilicna vjerovatnoca da je ta strana privatna (ili bas nova, ali prije privatna... to se da razraditi).

Blackliste kao sto rekoh ne funkcionisu dovoljno dobro u ovome slucaju, jer ne vidim u realnosti da cete neki 54-ti po popularnosti sajt za slanje online razglednica u Kirgistanu imati u blacklisti prije nego sto nekoga izblamirate objavljivanjem njegove privatne poruke u svom indeksu? :)

Gruja 13. 10. 2008. 19:00

A sta kažete tek na newsletter pretplate, gde potvrđuješ tako što dobiješ mail sa linkom tipa:

aaa.com/subscribe-confirm.php?email=pera.peric@gmail.com

To radi bez cooki-ja, i čas posla odoše mailovi u indeks.

Peca 13. 10. 2008. 19:23

ja i dalje smatram da je jedini izlaz iz corsokaka da bot dobije samo ime domena, ne i ceo URL...
i onda bot lagano da crawle-uje sajt u pozadini... naravno u sinhronizaciji sa ostalim botovima...


Vreme je GMT +2. Trenutno vreme je 18:37.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.