Преобразование результата TensorRT в Caffe

Question

Моя сеть содержит некоторые определенные слои, которые не поддерживаются текущим тензоромRT. поэтому я хочу запустить conv-слои и объединить слои на tensorRT, а затем использовать вывод из tensorRT в качестве ввода моей модели caffe, которая содержит некоторые определенные слои. Есть ли какой-нибудь API или пример кода, на который я могу ссылаться? Спасибо

Answer 1

Посмотрите исходный код в каталоге samples вашей установки TensorRT.

Answer 2

Для тех, спотыкаясь в настоящее время по этому вопросу я получил эту работу, делая ввод и вывод умозаключений TensorRT mutable_gpu_data из Caffe сгустков:

auto* gpuImagePtr = inputBlob->mutable_gpu_data(); 
cudaMemcpy(gpuImagePtr, inputData, mNetInputMemory, cudaMemcpyHostToDevice); 

std::vector<void*> buffers(2); 
buffers[0] = gpuImagePtr; 
buffers[1] = outputBlob->mutable_gpu_data(); 

cudaContext->enqueue(batchSize, &buffers[0], stream, nullptr);