Postaraj se da unikatne redove odredis primarnim kljucem, kako bi izbegao dupliranje, a zatim....
INSERT IGNORE INTO `table` ...
Takodje, jos jedan nacin da ubrzas ucitavanje podataka ovim putem je da koristis inline inserte:
INSERT INTO `table` ( fields ) VALUES ( value set 1 ), ( value set 2 )... ;
Ili da zapocnes transakciju pre ucitavanja pa da je commitujes nakon izvrsenih upita, ili mozda da ekskluzivno lockujes tabelu...
@dinke: prostije je koristiti
mysqlimport komandu, koja je interface za LOAD DATA INFILE