Мне интересно, есть ли причина, по которой файлы lmdb, используемые в caffe, намного больше, чем файл, содержащий исходные изображения. Не могли бы вы дать мне объяснение, пожалуйста?Caffe большие файлы типа lmdb
трудно дать конкретный ответ на такой абстрактный вопрос, но я дам ему попробовать:
файлов изображения обычно сжатые: а .png или .jpg размера h по w по 3 занимает гораздо меньше диска чем h*w*3 байтов из-за сжатия. С другой стороны, для обработки изображения в нейронной сети (или любого другого программного обеспечения ML), вам нужно работать с не сжатым представлением изображения. Таким образом, lmdb,, leveldb, hdf5 Наборы данных, используемые caffe, хранят входные изображения в без сжатия способ использования 32-битных чисел с плавающей запятой для каждого пикселя (вместо uint8), таким образом, резкое увеличение размера файла.
Благодарим вас за ответ. Я просто хочу проверить, что эта ситуация обычная, и я не делал никаких ошибок. Спасибо Shai – Skonitsa
@ user5640428: В дополнение к этому ответу: ** caffe ** может работать со сжатыми изображениями, хранящимися в 'lmdb'. Если вы используете инструмент * convert_imageset * из ** caffe **, вы можете передать параметр '-encode_type = png' или' -encode_type = jpg', чтобы сохранить закодированные изображения в 'lmdb'. Это значительно уменьшит размер вашей базы данных, но займет дополнительное время на этапе обучения/тестирования для декодирования изображений. – avtomaton
@avtomaton, мне было бы интересно использовать эту технику, так как я использую плату разработчика практически без памяти, и вам нужно использовать USB-накопитель для подачи информации. Вы пробовали это раньше? Кроме того, должен ли я добавлять дополнительные команды при работе с моей сетью или деактивировать ее по умолчанию? Спасибо – jerpint