Я использую код @ shai для преобразования данных в hdf5, но после преобразования размера данных слишком большой размер, превышающий предельный размер caffe (2GB) , так что мой Вопрос в том, как мы должны разделить данные? Нам нужно только преобразовать данные отдельно в зависимости от того, что мы хотим?как преобразовать данные регрессии для преобразования в hdf5 (Caffe)
0
A
ответ
0
Было бы полезно иметь больше информации, чтобы дать лучший ответ. Пожалуйста, предоставьте фактическую ошибку, которую дает вам Caffe. Кроме того, что конкретно превышает 2 ГБ? Это файл txt?
HDF5 не очень эффективен. Я бы рекомендовал либо использовать слой базы данных (http://caffe.help/manual/layers/data.html), либо написать собственный собственный слой Python (http://caffe.help/manual/layers/python.html).
Вы делали каждый пример файла hdf5, а один пример - более 2 ГБ? Можете ли вы добавить ссылку на код shai для справки? – Jonathan
@ Jonathan Я использовал код примера matlab в caffe для преобразования своих данных, и я сам разделяю данные в текстовом файле, но этот код shai: http://stackoverflow.com/q/31774953/6281477 –