Potreban savet oko index-iranja stranica

[buksula]

Originalno napisao vidak

Elem... kakav je problem...

imam urađeno rešenje za oglase na http://www.Oglasi.Me
Trenutno radim novu verziju gde će jedno od poboljšanja biti i friendly URL pa mi treba pomoć kako da omogućim Google-u da index-ira stranice sa oglasima tako da pročešlja svih 2200 oglasa umesto npr 300 koliko sada indeksira.

Razmišljao sam da napravim poseban deo za Google pa da u fajlu robots.txt sve stavim na disallow sem dela gde bi Google pretraživao?
Za razliku od drugih sajtova i CMS rešenja kod mene postoji troslojna podela kategorija na rubriku, kategoriju i podkategoriju gde u podkategoriji imam oko 800 pojmova. Da li bi dobro bilo da napravim jednu stranicu gde bih pomoću linkova izlistao tih 800 pojmova tako da svaki vodi ka stranici sa svim oblastima koje pripadaju tom pojmu? Ili na neki drugi način...???

Hvala unapred

Zavisno koliko imas oglasa ides na kategorije (100 linkova po strani - bez pagination) i tako mozes do npr 10 000 strana (100X100), Mada je najjednostavnije da imas 3 nivoa i vecu fleksibilnost - tj da mozes da imas 100*100*100 (teorijski).

Sitemap je po meni gubljenje vremena + moras da imas manje od 100 rezultata po strani tako da ti treba bas puno sitemap-a. Dakle obo moja greska ako je u pitanju xml sitemap ok. Mada meni ona nesto mnogo i nije pomogla ali ne moze da steti -
malko link juica ali je linkuj samo sa homepage ne sa svake strane osim ako neko ima bolji predlog posto ja to ne koristim pa se bas i ne razumem preterano u materiju.

Cloaking ne dolazi u obzir ja to korisim ali samo za neozbiljne sajtove.

Kada se oglas izgubi onda mozes da ga redirektujes na 301 stranu npr oldpages.php sa 301 headerom ... ili da napravis custom 404 error stranu.
Medjutim kada obrises listing od ne sme da se pojavljuje vise na sajtu ... inace mozes da imas problema sa google-om jer nema logike da ce da ceni sajtove koje imaju broken - linkove koje posetioci vide.

Vidi resenja na npr ebay.com ili npr craiglist.org (clasican 404).