Создание LMDB для Caffe

Question

Я пытаюсь построить глубокую обучающую модель для анализа Salence с использованием caffe (я использую оболочку python). Но я не могу понять, как сгенерировать структуру данных lmdb для этой цели. Я прошел через Imagenet и mnist примеры, и я понимаю, что я должен создавать этикетки в формате

my_test_dir/picture-foo.jpg 0 

Но в моем случае, я буду обозначать каждый пиксель с 0 или 1, указывающими, является ли заметным, что пиксель или нет , Это не будет единственной меткой для изображения.

Как сгенерировать файлы lmdb для маркировки на пиксель?

Answer 1

Вы можете подойти к этой проблеме двумя способами:

1. Использование hdf5 слоя данных вместо LMDB. HDF5 более гибкий и может поддерживать метки размера изображения. Вы можете увидеть this answer для примера построения и использования уровня входных данных HDF5.

2. У вас может быть два входных слоя LMDB: один для изображения и один для метки. Обратите внимание, что при создании LMDB вы должны не использовать опцию 'shuffle', чтобы синхронизировать изображения и их ярлыки.

Обновление: Недавно я дал более подробный ответ here.

Answer 2

Проверьте это: http://deepdish.io/2015/04/28/creating-lmdb-in-python/

Просто загрузите все изображения в X и соответствующие метки в Y.

Answer 3

В CAFFE как lmdb и hdf5 поддерживает несколько меток для каждого изображения, матрицы, если вы хотите, видеть эту тему:

https://github.com/BVLC/caffe/issues/1698#issue-53768814

Посмотреть этот учебник о том, как создать несколько этикеток набор данных (lmdb здесь) для CAFFE с кодом Python:

http://www.kostyaev.me/article/Multilabel%20Dataset/

EDIT: Например, для этикеток она использует функцию CAFFÈ-питона, который преобразует 3-мерный массив нулевой точки, найденный в CAFFE/pytho n/caffe.io.py: array_to_datum (arr, label = None):