pytables

2зной

2ответ

Чтение данных по Чанкингу с hdf5 и пандами

При запросе данных в памяти образуют форму подмножества CSV, я всегда делаю это так: df = pd.read_csv('data.csv', chunksize=10**3) chunk1 = df.get_chunk() chunk1 = chunk1[chunk1['Col1'] > someval]

4зной

2ответ

Хранение в качестве Pandas DataFrames и обновление как Pytables

Можете ли вы хранить данные в виде панда HDFStore и открывать их/выполнять ввод-вывод с использованием pytables? Причина этого возникает вопрос, потому что я в настоящее время хранения данных в pd.HDF

0зной

1ответ

Разбор большого CSV-файла с двумя различными форматами строк в Python 2.7 с ограничениями памяти?

У меня есть набор файлов (один файл размером ~ 10 ГБ, разбитый на несколько файлов, примерно на ~ 1 ГБ каждый), который мне нужно прочитать в Python 2.7. Формат файла выглядит так: 1|KEY1|A |B |01/01

0зной

1ответ

писать панда dataframe в hdf5 с помощью модуля pytables

в примере ниже, я пытаюсь сохранить мультииндекс pandas.DataFrame в h5 формате файл import pandas as pd import numpy as np store = pd.HDFStore('c:/temp/example.h5') idx = pd.MultiIndex.from_arrays(