Какие алгоритмы были предложены для изучения архитектуры глубокой нейронной сети? <a href="http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf" rel="nofollow noreferrer">Learning Deep Architectures for AI</a> книга

Question

Yoshua Benhgio упоминает, что

мы должны [...] стремиться к разработке алгоритмов обучения, которые используют данные, чтобы определить глубину архитектуры фи NAL.

Кто-нибудь знает какие-либо алгоритмы, предлагаемые до сих пор для достижения этого?

Этот вопрос не об успешных алгоритмах - на самом деле, похоже, в данный момент их нет. Цель этого вопроса состоит в объединении каждого алгоритма, который когда-либо был предложил, так что всем, кто интересуется темой, не нужно тратить месяцы на их поиск.

До сих пор я встречал:

---

• tiling algorithm
  • преимущество: добавляет слои, а также блоки
  • нюанс: только для изучения булевых функций, которые не являются слишком актуальным для прикладных задач.

---

• Генетические алгоритмы (любезность пользователя vzn):
  • Finding Optimal Neural Network Architecture Using Genetic Algorithms
  • Using genetic algorithms to select architecture of a feedforward artificial neural network
  • преимущество: узнаёт непрерывные функции, то есть отношение к прикладных задач
  • нюанс: вычислительно очень дорого

Answer 1

Я использовал успешно генетические алгоритмы для поиска оптимальной конфигурации нейронных сетей (единиц) уровней AN, используя свою собственную программу (так называемый TSAGANN).

Здесь есть paper (извините, но на испанском).

Моя работа была сосредоточена на:

• изучение структуры (количество единиц и скрытых Листики) ИНС-го типа с прогнозированием ИНС обученным с bacpropagation;

• Исследование симулированного отжига (SA) (скорее, ANN).

Результаты были, чем SA, хорошо работает как ANN для изучаемых проблем, и для расчетов он менее интенсивный.

Дальнейшая работа (никогда не выполнялась) была оптимизацией структуры и весов ANN непосредственно с GA.В этом случае нет необходимости backpropagation, потому что веса оптимизированы GA, а не ANN. Набор трассировки используется для вычисления только ошибки для любой конкретной конфигурации. GA минимизирует вариант квадратичной ошибки. Предварительное исследование в этом смысле было очень многообещающим (цель состоит в том, чтобы избежать алгоритма обучения АНН, очень медленно).

Документ представляет результаты с PROBEN1, эталоном, который охватывает как проблемы классификации, так и приближения.

«Глобальная оптимизация» (включая весовые коэффициенты) представляется очень перспективной для анализа временных рядов для прогнозирования без использования повторяющихся ANN.

Answer 2

Возможно, наиболее часто используемым алгоритмом для изучения архитектуры нейронной сети является Cascade Correlation, разработанная Скоттом Фахлманом и Кристианом Лебьером.

Here вы можете найти описание, я также видел реализацию C где-то раньше, но не мог вспомнить, где.

Answer 3

Существуют и другие популярные генетические алгоритмы, такие как NEAT и EANT как «растущие» нейронные сети. Найдите последние документы по ним, чтобы получить хороший обзор других подходов (работа, связанная с работой).

Другой подход, чем рост, заключается в том, чтобы начать с огромной полностью подключенной сети и обрезать соединения до тех пор, пока фитнес не станет хитом. Книга Митчеллса по компьютерному обучению дает хороший обзор.

И, конечно же, существуют различные алгоритмы, использующие как выращивание, так и обрезку. Они иногда включают «фиксацию» некоторой установленной части сетей, так что фиксированные веса больше не нужно рассматривать для оптимизации.