如何用python快速讀取幾G以上的大文件?
如果你沒那么大的內存 解決方法有幾個:
使用swap 一次性read()讀取
系統層面分割大文件為數個小于系統內存的小文件,分別讀取
使用python 按數據大小逐塊讀取,使用完數據即釋放該部分內存:
while True: chunk_data = file_object.read(chunk_size) if not chunk_data: break yield chunk_data
上一篇sata功能要開嗎
如何用python快速讀取幾G以上的大文件?
如果你沒那么大的內存 解決方法有幾個:
使用swap 一次性read()讀取
系統層面分割大文件為數個小于系統內存的小文件,分別讀取
使用python 按數據大小逐塊讀取,使用完數據即釋放該部分內存:
while True: chunk_data = file_object.read(chunk_size) if not chunk_data: break yield chunk_data