Почему моя функция отсева в Theano значительно замедляет свертку?

Question

Я изучаю Теано. Я написал простую функцию отсева, как показано ниже:

import theano.tensor as T 
srng = T.shared_randomstreams.RandomStreams() 

def drop(input, dropout=0.0): 
    if T.gt(dropout, 0.): 
     retain_prob = 1 - dropout.astype('floatX') 
     mask = srng.binomial(n=1, p=retain_prob, size=input.shape, dtype='floatX') 
     return input * mask/retain_prob 
    else: 
     return input 

Когда я применяю эту функцию для ввода первых двух сверточных слоев, среднее время, проведенное на каждом изображении увеличивается от 0,5 мс до 2,5 мс! Кто-нибудь знает, что может быть причиной такого резкого замедления?

Я использую карту GTX 980 с установленным cuDNN.

Answer 1

RandomStream работает только с процессором. Поэтому mask должен быть скопирован с CPU на GPU каждый раз, когда вызывается падение, что является причиной резкого замедления. Чтобы этого избежать, теперь я использую random stream implementation which works on GPU.

Answer 2

Похож на аналогичную проблему, как у меня (Lasagne dropoutlayer does not utilize GPU efficiently). Вы проверили, что вы набираете код cuda_enabled = True где-нибудь? в противном случае вы можете вручную установить его в строке 93 https://github.com/Theano/Theano/blob/master/theano/sandbox/cuda/init.py. Я знаю, что это не изящное решение, но на данный момент оно решило мою проблему. :)