|
Novi SEO alat
Prije par dana pustili smo eksperimentalno sajt koji ce pokusati (ako server ne izgori :) ) da indeksira sve domene (samo prve strane).
Sa svakog domena "vadimo" meta podatke, najcesce koristene keyworde i domene prema kojima postoji link. Takodje se kupe i podaci o IP adresi servera. Sve to ce omoguciti razlicito kombinovanje podataka (koji domeni su medjusobno linkovani, koji koriste slicne kljucne rijeci, koji se domeni nalaze na istom serveru i slicno). Ako ste voljni da pogledate i date neke prijedloge www.displaydetails.com P.S. Jos neke stvari nisu 100% optimizovane, ali u principu sve funkcionise. |
Zanimljiv projekat. Takva baza ima veliku perspektivu.
Predlazem da za keyword odradite neko kesiranje, da bi ste ubrzali ucitavanje, a pomoglo bi i da se izbegne opterecenje. Srecno. |
koji je cilj i svrha projekta?
|
^ da se obogate :)
|
:)
da preformulisem - kakvu uslugu/servis ovaj sajt moze pruziti, odnosno - za sta ce ga ljudi koristiti, sta on nudi? |
kad kazes sve domene, jel mislis na sve domene na svetu, ili samo domace domene?
|
Ja razumeh za domace, za sve bi bilo malo mlogo, mada nikad nije kasno. Samo da ne kreci iz garaze (blokovi) :).
|
Eno vam ga cetvrti link "By country" sto znaci da se odnosi na ceo internet. Mislim da je stvar previse optimisticna i da zahteva ogromne resurse. Ali u poslu se treba voditi velikim idejama :)
|
U principu, ovo je ekspriment :)
Znaci pratim kako se trose resursi i kako se ponasa baza, koja stalno raste jer se svi podaci kesiraju. Za sada ne postoje nikakve pretjerane ambicije, jer sto neko rece, moguce je da necu moci da obezbijedim potrebne resurse. Cinjenica je da kada na osnovu do sada indeksiranih domena (~50.000) napravim projekciju, sve izgleda ogromno. Prvo sam krenuo da pravim crawler koji bi omogucio da se vide svi domeni koji su hostovani na jednom serveru. (trebalo mi je zbog nekog raspadnutog shared hostinga gdje su me ubjedjivali da pored mog ima jos samo 20 sajtova). Pa reko, ajd' kad vec spiderujem domene da kupim u bazu sve podatke koje mogu.) A sto se tice usluge sa korisnike... pa ako nista moci ce da koriste gore spomenuti reverse IP, ili da rade pretragu domena po nazivima. Npr. svi .rs domeni koji u nazivu imaju rijec Beograd i slicne pretrage... Naravno bice potrebno jos vremena da se domeni indeksiraju kako bi podaci bili komletni. Ako eksperiment propadne :)... pa nista. Ogranicicu crawler samo na .rs. To ce 100% da radi. :) |
jel ima sanse da objavis neke cifre oko potrosnje resursa za ovako nesto? Kapiram da je u pitanju veliki zalogaj, ali me jako zanima konkretno koliki...
|
Citat:
Za nekih ~50.000 domena bilo je potrebno ~400,00Mb sa ~5.000.000 rekorda iako sam bazu prilicno dobro optimizovao. To znaci bi do kraja bili potrebni terabajti i terabajti i terabajti. Ovo sada radi na virtual dedicated serveru i vec ima problema. Znaci potreban je dedicated server sa dobrim procesorom i ogromnim diskovima. I opet je pitanje kako ce se ponasati. Sve u svemu, ako nesto uradim... 'cu da javim :1010: |
nema sanse, odma da ti kazem :)
been there, done that. jedina stvar koju sa mysql-om mozes da uradis je sharding - ali to automatski znachi vishe servera. Ali onda uz malo dodatne application logic mozes da skaliras i ha haj. Sta vise ne trebaju ti (za pocetak) nikakvi specijalni serveri, moze i taj VPS, samo da su fizicki na razlicitim serverima...I da mozes da kazes mysql-u da prima konekcije sa strane. Onda tabelu sa keywordima podelis na A-N, i server2: M-Z, a domene recimo po ID-u, prvi server od 0-10.000.000 drugi server 10M-20M i tako dalje.. Naravno, sto vise servera mozes da priustis to bolje jer onda smanjujes load po serveru. Takodje mozes da probas da servis otplacuje servere, uz premium features ili neki oblik oglasavanja na sajtu naravno ovaj broj od 10M je odokativan, stavis onoliko koliko jedna masina moze da izdrzi. Mozda ces izgubiti mogucnost da radis JOIN iz jednog query-ja, ali ces dobiti na performansama. |
Hvala na dobrim idejama :)
Pokusacu sa dva VPS-a da vidim kuda to vodi. Vjerovatno cu, za pocetak, smanjiti broj podataka koje prikupljam kako bi sve maksimalno optimizovao, pa onda, vremenom, pokusati dodavati ostatak. U sustini, stvar je izvodljiva samo su potrebna prilicna ulaganja. Premium accounti (npr. neogranicen broj dnevnih upita, a free ograniciti na 10 i slicno) bi mogli da izvuku stvar, ali put do potpuno funkcionalnog servisa nije bas poplocan mermernim plocama :) |
Odlicna ideja.
Samo jedna jako mala zamerka :) similar domains sa desne strane ti ispisuje www.example.com ako ukucas example.com http://www.displaydetails.com/warhammer.net |
Citat:
Pustio sam jos jedan dio sajta koji podatke prikazuje vizuelno. Mozda nekome bude zanimljivo: npr: http://www.displaydetails.com/pages/...devprotalk.com |
Konacno je gotova i osnovnu logika za sugerisanje naziva domena na osnovu ponudjenih rijeci. Zanimljivo je probati, ponekad daje smijesne ali interesantne rezultate :1087:
http://www.displaydetails.com/pages/suggestions |
Super je samo mislis da ono sto radi SS ne radi dobro.
Npr evo za moj sajt http://www.displaydetails.com/www.bet-team.org Slika stoji ova A to je slika jos od pre dva meseca a pise Last update: Today |
Uf, ukucah dominomagazin.com,
i potraja posteno... sigurno nije bio indexiran... U svakom slucaju svaka cast za smelost i znanje. Dizajn je veoma fin i pristojan, dovoljan! Svaka ideja, ukoliko se valjano prouci moze samo da uspe ili da propadne, a ova ne lici na onu koja ce propasti. Sa srecom! |
Takodje,
cestitam na izboru domena :) Cudo da je bio slobodan... |
@Nemanja, hebote, o'ladi sa starim temama.
|
| Vreme je GMT +2. Trenutno vreme je 00:47. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.