Написать быстрый панда данных для postgres

Question

Интересно, как быстро записать данные из pandas DataFrame в таблицу в DB почтовых сообщений.

1) Я попытался pandas.to_sql, но по какой-то причине он принимает объект, чтобы скопировать данные,

2) к тому же я попробовал следующее:

import io 
f = io.StringIO() 
pd.DataFrame({'a':[1,2], 'b':[3,4]}).to_csv(f) 
cursor = conn.cursor() 
cursor.execute('create table bbbb (a int, b int);COMMIT; ') 
cursor.copy_from(f, 'bbbb', columns=('a', 'b'), sep=',') 
cursor.execute("select * from bbbb;") 
a = cursor.fetchall() 
print(a) 
cursor.close() 

но он возвращает пустой список [].

У меня есть два вопроса: какой самый быстрый способ скопировать данные из кода python (dataframe) в postgres DB? и что было неправильным во втором подходе, который я пробовал?

Answer 1

Ваш второй подход должен быть очень быстрым.

Есть две проблемы с кодом:

1. После записи CSV для f вы расположены в конце файла. Перед началом чтения вам нужно вернуть свою позицию в начало.
2. При написании CSV, необходимо опустить заголовок и индекс

Вот что ваш окончательный код должен выглядеть следующим образом:

import io 
f = io.StringIO() 
pd.DataFrame({'a':[1,2], 'b':[3,4]}).to_csv(f, index=False, header=False) # removed header 
f.seek(0) # move position to beginning of file before reading 
cursor = conn.cursor() 
cursor.execute('create table bbbb (a int, b int);COMMIT; ') 
cursor.copy_from(f, 'bbbb', columns=('a', 'b'), sep=',') 
cursor.execute("select * from bbbb;") 
a = cursor.fetchall() 
print(a) 
cursor.close()