Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno?
U pitanju je forum
www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne.