Как читать данные в кусках в кадре данных Python?

Question

Я хочу прочитать файл f в кусках в dataframe. Вот часть кода, который я использовал.

for i in range(0, maxline, chunksize): 
df = pandas.read_csv(f,sep=',', nrows=chunksize, skiprows=i) 
df.to_sql(member, engine, if_exists='append',index= False, index_label=None, chunksize=chunksize) 

Я получаю ошибку:

pandas.io.common.EmptyDataError: No columns to parse from file

Код работает только тогда, когда chunksize> = MaXLine (что суммарные строки в файле F). Однако, в моем случае, chunksize < = maxline.

Пожалуйста, сообщите об этом исправлению.

Answer 1

Я думаю, что лучше использовать параметр chunksize в read_csv. Кроме того, используйте concat с параметром ignore_index, из-за необходимости избежать дубликатов в index:

chunksize = 5 
TextFileReader = pd.read_csv(f, chunksize=chunksize) 

df = pd.concat(TextFileReader, ignore_index=True) 

См панды docs.