mysql 有l(wèi)oad data infile 語法可以直接把文件中的數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫。

去重的話你是跨文件去重？還是單個(gè)文件內(nèi)去重？

跨文件去重的話，又要高效又要去重，做不到。

單個(gè)文件去重的話，不知道load data infile 語法能否支持，我沒試過。

可以先入庫在去重，效率應(yīng)該會高些。