mysql 有load data infile 语法可以直接把文件中的数据导入数据库。
去重的话你是跨文件去重?还是单个文件内去重?
跨文件去重的话,又要高效又要去重,做不到。
单个文件去重的话,不知道load data infile 语法能否支持,我没试过。
可以先入库在去重,效率应该会高些。
Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号