Ошибка разбиения сегментации xarray datset на netcdf или dataframe

Я получаю ошибку сегментации, работающую с набором данных xarray, который был создан из нескольких файлов grib2. Ошибка возникает при записи в netcdf, а также при записи в кадр данных. Любые предложения о том, что происходит неправильно, оцениваются.Ошибка разбиения сегментации xarray datset на netcdf или dataframe

files = os.listdir(download_dir)

Пример файлов (из http://dd.weather.gc.ca/model_hrdps/west/grib2/00/000/) 'CMC_hrdps_west_RH_TGL_2_ps2.5km_2016072800_P015-00.grib2', ... 'CMC_hrdps_west_TMP_TGL_2_ps2.5km_2016072800_P011-00.grib2'

# import and combine all grib2 files 
ds = xr.open_mfdataset(files,concat_dim='time',engine='pynio') 

<xarray.Dataset> 
Dimensions: (time: 48, xgrid_0: 685, ygrid_0: 485) 
Coordinates: 
    gridlat_0 (ygrid_0, xgrid_0) float32 44.6896 44.6956 44.7015 44.7075 ... 
    * ygrid_0 (ygrid_0) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ... 
    * xgrid_0 (xgrid_0) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ... 
    * time  (time) datetime64[ns] 2016-07-28T01:00:00 2016-07-28T02:00:00 ... 
    gridlon_0 (ygrid_0, xgrid_0) float32 -129.906 -129.879 -129.851 ... 
Data variables: 
    u   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    gridrot_0 (time, ygrid_0, xgrid_0) float32 nan nan nan nan nan nan nan ... 
    Qli  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    Qsi  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    p   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    rh   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    press  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    t   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    vw_dir  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ...

Выписывая в NetCDF

ds.to_netcdf('test.nc')

Дефект сегментации (ядро сбрасывается)

источник

2016-08-02 nicway

PyNIO не очень хорошо работает с многопоточным процессом. Попробуйте добавить lock=True в open_mfdataset (мы должны установить это по умолчанию).

Попробуйте добавить proprocess=lambda x: x.load() на номер open_mfdataset. Это гарантирует, что каждый набор данных будет полностью загружен в память перед обработкой следующего.

источник

2016-08-02 05:54:52 shoyer

Спасибо за предложение, но даже с 'lock = True' я все еще получаю segfault ... – nicway

Я добавил еще одно альтернативное предложение. – shoyer

Это сработало, спасибо! Заключительный вызов: 'ds = xr.open_mfdataset (файлы, concat_dim = 'time', engine = 'pynio', preprocess = lambda x: x.load())' – nicway

Ошибка разбиения сегментации xarray datset на netcdf или dataframe

ответ

Смежные вопросы