Mozda da napravis sitemap.xml koji ce reci crawleru sta da indeksira?
Overi ovo:
https://www.google.com/webmasters/to.../protocol.html
kao i deo za <changefreq>
Takodje, Google webmaster tools moze pomoci (
https://www.google.com/webmasters/tools/siteoverview) jer tamo mozes definisati brzinu crawlovanja (Set Crawl rate opcija).
To su samo neke ideje.