Lasagne использует входы изображений как начальное скрытое состояние LSTMLayer

Question

Я делаю проект по субтитрам изображений. Я хочу установить пакет функций изображения с формой = (batch_size, 512) в качестве начального скрытого состояния LSTMLayer в Лазанье (theano). Ввод последовательности в LSTMLayer представляет собой пакет текстовой последовательности с формой = (batch_size, max_sequence_length, 512). Я замечаю, что LSTMLayer в lasagne имеет параметр hid_init. Кто-нибудь знает, как использовать его для LSTMLayer в Лазанье? Нужно ли мне самостоятельно реализовать собственный LSTMLayer?

Answer 1

Вам не нужно устанавливать h_0 параметр, поскольку h_0 использует с0 (см это enter link description here и запишите соединения от h0 до c0), таким образом, вы должны установить только параметр C0:

decoder = LSTMLayer(l_word_embeddings, 
       num_units=LSTM_UNITS, 
       cell_init=your_image_features_layer_512_shape, #this is c0 
       mask_input=l_mask) 

Вы можете установить c0 как слой или как другие массивы (см. Lasagne LSTM doc enter link description here).

Готов обсуждать дальше.