RenderScript speedup 10x при форсировании реализации ЦП по умолчанию

Question

Я реализовал CNN в RenderScript, описанном в previous question, который породил этот. В основном, при работе

adb shell setprop debug.rs.default-CPU-driver 1 

существует 10x убыстрение как на Nvidia Shield и Nexus 7. Среднее время вычисления идет от около 50мс 5мс, тест приложение идет от около 50fps до 130 или более. Существует два алгоритма свертки:

(1) движущееся ядро ​​
(2) im2col и GEMM из RenderScriptIntrinsicsBLAS.

Оба опыта аналогичного ускорения. Вопрос в том, почему это происходит и может ли этот эффект быть создан из кода предсказуемым образом? И подробная информация об этом доступна где-то?

Edit:

В соответствии с предложениями ниже, я проверил использование отделки() и CopyTo(), вот разбивка процедуры. Сообщение об ускоренном состоянии происходит после вызова copyTo(), но без финиша(). Uncommenting finish() добавляет около 1 мс к времени.

double forwardTime = 0; 
long t = System.currentTimeMillis(); 
//double t = SystemClock.elapsedRealtime(); // makes no difference 
for (Layer a : layers) { 
    blob = a.forward(blob); 
} 
mRS.finish(); // adds about 1ms to measured time 

blob.copyTo(outbuf); 
forwardTime = System.currentTimeMillis() - t;​ 

Может быть, это не имеет никакого отношения, но на NVIDIA Shield я получаю сообщение об ошибке при запуске, который исчезает при работе с ADB оболочки setprop debug.rs.default-CPU-водитель 1

E/Renderscript: rsAssert failed: 0, in vendor/nvidia/tegra/compute/rs/driver/nv/rsdNvBcc.cpp 

I 'm устанавливает compileSdkVersion, minSdkVersion и targetSdkVersion до 23 прямо сейчас, с buildToolsVersion "23.0.2". Таблетки полностью адаптированы к самой последней версии Android. Не уверен в минимальной цели, которую мне нужно установить и у вас есть ScriptIntrinsicsBLAS.

Я использую #pragma rs_fp_relaxed во всех сценариях. В Allocations используются флаги по умолчанию.
This question имеет аналогичную ситуацию, но оказалось, что OP создает новые объекты Script каждый вычислительный раунд. Я ничего не делаю, все сценарии и распределения создаются во время init.

Answer 1

Исходный пост имеет mRS.finish() закомментирован. Мне интересно, если это так.

Чтобы правильно измерить RenderScript, мы должны дождаться ожидающих асинхронных сеансов. Существует, как правило, два способа сделать это:

1. Использование RenderScript.finish(). Это хорошо работает при использовании debug.rs.default-CPU-driver 1. И он также работает с большинством драйверов GPU. Однако некоторые драйверы GPU рассматривают это как NOOP.
2. Используйте Allocation.copyTo() или другие аналогичные API-интерфейсы для доступа к данным распределения, предпочтительно к окончательному выделению. Это на самом деле трюк, но он работает на всех устройствах. Просто имейте в виду, что сама операция copyTo может занять некоторое время и убедиться, что вы принимаете это во внимание.

5 мс здесь кажется подозрительным, он может быть реальным в зависимости от алгоритма на самом деле. Но стоит дважды проверить, все ли так, когда вы добавляете финиш() или copyTo().

Answer 2

Это очень странно.Тот факт, что вы получаете одинаковый результат на обоих устройствах и с двумя очень разными реализациями conv-слоев, говорит о том, что по-прежнему происходит что-то еще по сравнению с самим бенчмаркингом или временем, а не различиями с выполнением CPU/GPU, поскольку все редко это убедительно.

Я бы предложил проверить, что выходы из экземпляра copyTo() всегда совпадают. Настройте вывод logcat, скажем, первых (и последних!) 10 значений в массиве float, который возвращается из распределения вывода каждого уровня, чтобы убедиться, что все реализации и режимы выполнения действительно обрабатывают данные правильно и одинаково на каждом уровне.

В зависимости от вашей установки также возможно, что упомянутые выше накладные расходы на копирование данных могут привести к превышению времени вычисления, и то, что вы видите, является всего лишь неудачным эффектом этого, поскольку возможно копирование данных из одного места или другой занимает больше или меньше времени. Попытайтесь увеличить размеры или количество ящиков conv (с фиктивными/случайными значениями, просто для тестирования), чтобы сделать вычисления более сложными и тем самым компенсировать баланс времени вычислений и данных и посмотреть, как это влияет на ваши результаты.

Если все остальное терпит неудачу, это может быть просто из-за того, что на какой-то причине GPU действительно занимает больше времени, хотя может быть трудно отследить, почему. Некоторые вещи, чтобы проверить ... Какие типы данных и размер вы используете для данных? Как вы загружаете/записываете данные в распределения? Вы используете #pragma rs_fp_relaxed уже для установки точности ваших поплавков? Какие флаги вы устанавливаете для использования распределения (например, Allocation.USAGE_SCRIPT | Allocation.USAGE_GRAPHICS_TEXTURE)?

И за ваш последний вопрос, подробные RS документации по конкретным вопросам оптимизации еще очень мало, к сожалению ... Я думаю, просто спрашиваю здесь на SO еще один из лучших ресурсов, доступная на данный момент :)