Mislim da gresis, mada mozda i ja nisam bio precizan, pogledaj ovo:
http://betterexplained.com/articles/...-http-caching/
Tu je objasnjeno u kojim slucajevima browser kesira, u zavisnosti od headera za trazeni fajl.
Edit: mozda expiry header nije dobro resenje, mogao bi da probas sa eTag ili Last Modified.
Ako te ne mrzi da se bakces sa tim