Potreban savet oko index-iranja stranica

[vidak]

Elem... kakav je problem...

imam urađeno rešenje za oglase na http://www.Oglasi.Me
Trenutno radim novu verziju gde će jedno od poboljšanja biti i friendly URL pa mi treba pomoć kako da omogućim Google-u da index-ira stranice sa oglasima tako da pročešlja svih 2200 oglasa umesto npr 300 koliko sada indeksira.

Razmišljao sam da napravim poseban deo za Google pa da u fajlu robots.txt sve stavim na disallow sem dela gde bi Google pretraživao?
Za razliku od drugih sajtova i CMS rešenja kod mene postoji troslojna podela kategorija na rubriku, kategoriju i podkategoriju gde u podkategoriji imam oko 800 pojmova. Da li bi dobro bilo da napravim jednu stranicu gde bih pomoću linkova izlistao tih 800 pojmova tako da svaki vodi ka stranici sa svim oblastima koje pripadaju tom pojmu? Ili na neki drugi način...???

Hvala unapred

[acca]

Obzirom da ćeš tek da menjaš strukturu urlova, u neku ruku je i dobro što sad nije sve indeksirano. I Googlu će biti lakše kad budeš imao seo friendly urlove. Mada bi i te stranice sa linkovima svakako pomogle.

Nisam najbolje razumeo tu ideju sa robots.txt. Ako misliš da posetiocima prikazuješ jedno a Googlu drugo onda je to loša ideja. Mada kažem, možda nisam dobro shvatio.

[vidak]

Originalno napisao acca

Nisam najbolje razumeo tu ideju sa robots.txt. Ako misliš da posetiocima prikazuješ jedno a Googlu drugo onda je to loša ideja. Mada kažem, možda nisam dobro shvatio.

Odlično si razumeo. Namera mi je da posetiocima pokazujem jedno a Google-u drugo. To bi onda bila loša ideja? Ufff...

[mileusna]

Originalno napisao vidak

Odlično si razumeo. Namera mi je da posetiocima pokazujem jedno a Google-u drugo. To bi onda bila loša ideja? Ufff...

To se zove cloaking i naravno da nije dozvoljeno.

Cloaking refers to the practice of presenting different content or URLs to users and search engines. Serving up different results based on user agent may cause your site to be perceived as deceptive and removed from the Google index.

Some examples of cloaking include:

* Serving a page of HTML text to search engines, while showing a page of images or Flash to users.
* Serving different content to search engines than to users.

Ako sam dobro razumeo, tebi zapravo treba sitemap da Googlu omogućiš da nađe sve URL-ove.

[vidak]

@mileusna
Da li bi onda u sitemap-u trebali da budu specifirani svi oglasi. T.j. kako se koji oglas upisuje u bazu tako da se generiše novi sitemap koji bi sadržao i taj oglas?

[mileusna]

Imaš sve na Internetu, šta je sitemap i kako se pravi, dosta ćeš naći i guglanjem, da ne idemo ovde od osnova. Tek ako nađeš neki konkretan problem onda pitaj.

Uprošćeno gledano, to je lista URL-ova koju pošalješ Googlu da bi on lakše otkrio sve stranice sa tvog sajta, čak iako nisu linkovane na samom sajtu, ili se teško dolazi do njih zbog strukture kategorija i sl. Jedan sitemap može da ima i do 50.000 URL-ova, tako da ne bi "generisao novi sitemap za svaki oglas", već bi URL za svaki oglas dodao u jedan sitemap.

Sam sitemap ne daje garancije da će Google zaista i indeksirati sve te stranice, ali mu pomaže u tome.

[3banchi]

Za toliki broj linkova i svakodnevno novih linkova oglasa trebao bi imati neki automatski sitemap generator. Vidi i ovde.
Ako se odlucis za generisanje "peske" onda svakako odredi ucestalost promene stranica sa tagom <changefreq> na daily, hourly i sl.
Bootu bi to trebalo da sugerise da te cesce obilazi.

[buksula]

Originalno napisao vidak

Elem... kakav je problem...

imam urađeno rešenje za oglase na http://www.Oglasi.Me
Trenutno radim novu verziju gde će jedno od poboljšanja biti i friendly URL pa mi treba pomoć kako da omogućim Google-u da index-ira stranice sa oglasima tako da pročešlja svih 2200 oglasa umesto npr 300 koliko sada indeksira.

Razmišljao sam da napravim poseban deo za Google pa da u fajlu robots.txt sve stavim na disallow sem dela gde bi Google pretraživao?
Za razliku od drugih sajtova i CMS rešenja kod mene postoji troslojna podela kategorija na rubriku, kategoriju i podkategoriju gde u podkategoriji imam oko 800 pojmova. Da li bi dobro bilo da napravim jednu stranicu gde bih pomoću linkova izlistao tih 800 pojmova tako da svaki vodi ka stranici sa svim oblastima koje pripadaju tom pojmu? Ili na neki drugi način...???

Hvala unapred

Zavisno koliko imas oglasa ides na kategorije (100 linkova po strani - bez pagination) i tako mozes do npr 10 000 strana (100X100), Mada je najjednostavnije da imas 3 nivoa i vecu fleksibilnost - tj da mozes da imas 100*100*100 (teorijski).

Sitemap je po meni gubljenje vremena + moras da imas manje od 100 rezultata po strani tako da ti treba bas puno sitemap-a. Dakle obo moja greska ako je u pitanju xml sitemap ok. Mada meni ona nesto mnogo i nije pomogla ali ne moze da steti -
malko link juica ali je linkuj samo sa homepage ne sa svake strane osim ako neko ima bolji predlog posto ja to ne koristim pa se bas i ne razumem preterano u materiju.

Cloaking ne dolazi u obzir ja to korisim ali samo za neozbiljne sajtove.

Kada se oglas izgubi onda mozes da ga redirektujes na 301 stranu npr oldpages.php sa 301 headerom ... ili da napravis custom 404 error stranu.
Medjutim kada obrises listing od ne sme da se pojavljuje vise na sajtu ... inace mozes da imas problema sa google-om jer nema logike da ce da ceni sajtove koje imaju broken - linkove koje posetioci vide.

Vidi resenja na npr ebay.com ili npr craiglist.org (clasican 404).

[mileusna]

Originalno napisao buksula

Sitemap je po meni gubljenje vremena + moras da imas manje od 100 rezultata po strani tako da ti treba bas puno sitemap-a.

Verovatno ti misliš na HTML sitemap, što opet nema veze sa sitemap protokolom.

You can provide multiple Sitemap files, but each Sitemap file that you provide must have no more than 50,000 URLs and must be no larger than 10MB (10,485,760 bytes). If you would like, you may compress your Sitemap files using gzip to reduce your bandwidth requirement; however the sitemap file once uncompressed must be no larger than 10MB. If you want to list more than 50,000 URLs, you must create multiple Sitemap files.

[buksula]

Originalno napisao mileusna

Verovatno ti misliš na HTML sitemap, što opet nema veze sa sitemap protokolom.

Da trebao sam da budem jasniji. Izvinjavam se ...technical error nije bas ko ovi - http://www.nouptime.com/