Зависит ли энергия RBM от архитектуры?

Question

Я просматриваю веб уже несколько дней, ища ответ на мой вопрос, но я не понимаю эту тему достаточно хорошо, чтобы иметь возможность интерпретировать книги, которые я нахожу.

Вот что я теперь понимаю:

Я думаю, что я получаю контролируемое обучение. У вас есть набор данных (x, y). Вы создаете модель, кормите x's ей, retireve y's, а затем пытаетесь свести к минимуму некоторую функцию стоимости в зависимости от того, как далеко ваша модель отстреливается.

RBM обычно используются для неконтролируемого обучения, так как у вас есть только значения (x). Поэтому вы не можете создать функцию стоимости для минимизации. Вместо этого вы определяете энергетическую функцию, которая зависит от активизации нейронов и весов между ними. Когда вы получили минимальную энергию, вы обучили модель.

Но эта последняя мысль говорит мне, что энергия, поэтому оптимизированная структура модуля зависит только от архитектуры и не зависит от входных данных. Таким образом, только устанавливая количество входных и скрытых нейронов, вы заранее определяете веса и смещения сети.

Так оно действительно так? Проводится ли обучение RBM независимо от тех данных, которые мы хотим применить?

Answer 1

Вам не хватает точки неконтролируемого обучения.

RBM обычно используются для неконтролируемого обучения, так как у вас есть только значения (x). Поэтому вы не можете создать функцию стоимости для минимизации.

Это просто неверно, вы можете определить многие действительные функции стоимости, они просто не зависят от метки (поскольку нет метки). Но рассмотрят для модели примера kmeans, где вы позиционируете K точки в исходном пространстве, ваша стоимость здесь является суммой расстояний от вашего Xs к закрытиям точки из этого К.

Вместо этого вы определяете функцию энергии, которая зависит от активации нейронов и весов между ними. Когда вы получили минимальную энергию, вы обучили модель.

Энергетическое обоснование - это лишь одна из многих возможностей. В частности, это имеет смысл для RBM.

Но эта последняя мысль говорит мне, что энергия, поэтому оптимизированная структура модуля зависит только от архитектуры и не зависит от входных данных.

Это неверно, так как активации является функцией данных. У вас нет активации сети без обработки данных. Согласие на такие рассуждения, контролируемое обучение также будет «независимо от входных данных», потому что то, что ваша сеть производит для данного x, равно , также активация (выходного уровня).

Таким образом, только устанавливая количество входных и скрытых нейронов, вы заранее определяете веса и смещения сети.

Нет, это не имеет никакого смысла.В лучшем случае он определяет количество параметров в RBM, а не фактические значения.

Так оно действительно так? Проводится ли обучение RBM независимо от тех данных, которые мы хотим применить?

Как следствие вышеуказанных ответов - нет. Обучение RBM изменяет весы для минимизации энергии, которая определяется как функция весов и активаций (что, с другой стороны, это элементы, зависящие от данных).