Есть ли ограничение на размер файла для xarray в python?

Question

Я хочу открыть набор данных netCDF4 с помощью xarray.

У меня есть два примера. Большой файл с более чем 3 миллионами точек во временном ряду (3,2 ГБ). Небольшой файл с 9999 точками во временном ряду (9,8 МБ). Этот код откроет небольшой файл.

ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False) 

Если я использую большой файл, я получаю неизвестную ошибку. Поведение согласовано на двух разных машинах Windows с установленной миникондой.

Что здесь происходит? Что еще я должен проверить?

Заранее спасибо.

Answer 1

Ни xarray, ни netCDF4-Python не имеют ограничений размера файла. Они были успешно использованы для файлов в диапазоне 10-100 ГБ.

Ваша проблема выглядит аналогично, сообщенные в этом вопросе netCDF4-Python для чтения больших файлов на Windows, с Python 3: https://github.com/Unidata/netcdf4-python/issues/535

В более широком смысле, вы можете столкнуться с самой limitations of the netCDF file format. Версия 4, поддерживаемая xarray через netCDF4-Python и h5netcdf, основана на HDF5 и не имеет ограничений размера файла. Версия 3, поддерживаемая xarray через netCDF4-Python и scipy, имеет ограничение размера файла 2 ГБ, если не используется версия с 64-битным смещением (которая даже тогда имеет ограничение < 4 ГБ на переменную).