• 本帖最后由 StudyOverseas 于 2019-1-2 11:10 编辑 *

目前有70万个gz文件,每个文件6万行(计算错误,实际上是6千行)数据,然后每行有20个字符串
需要把文件都录入数据库,目前是用的Python遍历+读行+写入sql的方法,差不多4秒一个文件,需要30天才能全部录入到数据库。
硬件瓶颈还是io,然而目前硬件升级也不太可能。

有没有什么更加快速的方法?


感谢各位大佬!
已修改代码,循环 sql+= 然后insertmany,每次sql插入1000行,比之前一次1行的速度快了大概50倍