Я использую сети состояний эха (ESN) в качестве Q-функции в задаче обучения арфингам. Мне удалось достичь высокой точности, в среднем на 90%, на тестовой фазе с определенной топологией резервуара (спектральный радиус = 0,9, коэффициент регуляризации = 10, # входной блок = 2, # выходные единицы = 1, #резервуарные единицы = 8, и отсутствие утечки).Как я могу справиться с проблемой рандомизации в сетях состояний Echo?
Система достигла высокой точности на тестовом этапе после тренировки на 100 эпизодов. Но когда я инициализировал весы сетей с разными случайными семенами, это поведение стало очень неустойчивым и не достигло высокой производительности по-прежнему. Я хочу знать, как я могу преодолеть эту проблему случайности и иметь ESN, который устойчив к различной случайной инициализации его ввода и плотности коллектора и может хорошо обобщаться?
здесь, как я инициализировал свою сеть. Входные веса и весы резервуаров, отобранных из нормального распределения (среднее значение = 0 и std = 1). Матрица входного веса нормируется с унифицированной дисперсией и весами пласта, нормированными делением с максимумом абсолютных значений Эйгена и умноженными на спектральный радиус.
Заранее спасибо
Рамин
До сих пор лучшая идея у меня состоит в том, чтобы использовать большое количество нейронов в резервуаре и эмпирический подход для установки спектрального радиуса, достаточно маленький, чтобы компенсировать различные случайные семена в исходной и исходной массе. [Практический подход к реализации сети эхо-состояний] (http://minds.jacobs-university.de/sites/default/files/uploads/papers/PracticalESN.pdf_). Кроме того, есть несколько других подходов к обучению входам и зонам коллектора. Тогда вопрос: каков общий принцип проектирования ESN? (а не поиск эмпирических параметров). –