共有 22 条评论,登录后可见
目前有70万个gz文件,每个文件6万行(计算错误,实际上是6千行)数据,然后每行有20个字符串需要把文件都录入数据库,目前是用的Python遍历+读行+写入sql的方法,差不多4秒一个文件,需要30天才能全部录入到数据库。硬件瓶颈还是io,然而目前硬件升级也不太可能。
有没有什么更加快速的方法?
感谢各位大佬!已修改代码,循环 sql+= 然后insertmany,每次sql插入1000行,比之前一次1行的速度快了大概50倍