U principu, ovo je ekspriment
Znaci pratim kako se trose resursi i kako se ponasa baza, koja stalno raste jer se svi podaci kesiraju. Za sada ne postoje nikakve pretjerane ambicije, jer sto neko rece, moguce je da necu moci da obezbijedim potrebne resurse. Cinjenica je da kada na osnovu do sada indeksiranih domena (~50.000) napravim projekciju, sve izgleda ogromno.
Prvo sam krenuo da pravim crawler koji bi omogucio da se vide svi domeni koji su hostovani na jednom serveru. (trebalo mi je zbog nekog raspadnutog shared hostinga gdje su me ubjedjivali da pored mog ima jos samo 20 sajtova).
Pa reko, ajd' kad vec spiderujem domene da kupim u bazu sve podatke koje mogu.)
A sto se tice usluge sa korisnike... pa ako nista moci ce da koriste gore spomenuti reverse IP, ili da rade pretragu domena po nazivima.
Npr. svi .rs domeni koji u nazivu imaju rijec Beograd i slicne pretrage... Naravno bice potrebno jos vremena da se domeni indeksiraju kako bi podaci bili komletni.
Ako eksperiment propadne
... pa nista. Ogranicicu crawler samo na .rs. To ce 100% da radi.