Obzirom da ćeš tek da menjaš strukturu urlova, u neku ruku je i dobro što sad nije sve indeksirano.
I Googlu će biti lakše kad budeš imao seo friendly urlove. Mada bi i te stranice sa linkovima svakako pomogle.
Nisam najbolje razumeo tu ideju sa robots.txt. Ako misliš da posetiocima prikazuješ jedno a Googlu drugo onda je to loša ideja. Mada kažem, možda nisam dobro shvatio.