首页 > 开发 > MySQL > 正文

txt文件3G多,大概2亿多条数据,用python,有没有什么好的方案切割,并写入数据库

2017-09-08 08:50:39  来源:网友分享

txt文件3G多,大概2亿多条数据,用python,有没有什么好的方案切割,并写入数据库。
用with open。然后readlines内存直接爆了,读都读不出来。
直接导入sql又好久。

要怎么分割成若干个文件,一个几百M这样。
谢谢。

解决方案

with open(fileName, 'rb') as fileSource:
    for line in fileSource:
        pass//操作