Общие параметры для оптимизации роя частиц.

Question

Я понимаю, как оптимизация роялей частиц работает в целом и прочитала об этом в нескольких статьях. Примечательно, что большинство писем о PSO фокусируются на оптимизации функций одного уравнения. В хороших параметрах Педерсена для оптимизации роялей частиц он дает 18 результатов, когда он метаоптимизировал PSO для десяти пробных проблем с семью номерами измерений (от 2 до 100).

Я хочу оптимизировать Multi-Layer Perceptron с PSO. Я успешно сделал это в Matlab для некоторых довольно небольших MLP, но не настолько, насколько я хочу. (100 измерений являются гигантскими для функций с одним уравнением, но это беспроигрышное количество весов и смещений в нейронной сети. Я ожидаю, что вам понадобится порядка 800 000 весов и предубеждений - размеры - которые будут оптимизированы в моей последней программе.)

Моя проблема, как я понимаю, что я не могу найти простое объяснение того, как выбрать значения из w, c1 и c2 * такой, что любая функция с любым числом измерений могут быть оптимизированы. (Я уверен, что это слишком много, но, по крайней мере, функция, которая, хотя и имеет разрывы в шаге, очень похожа на гладкую в широких масштабах и не имеет белого шума.)

Или у кого-то есть метаоптимизированный PSO для нейронных сетей вообще?

Answer 1

Во всех типах методов, основанных на популяции, проблема выбора параметров является сложной задачей. В основном это делается путем тестирования нескольких наборов параметров, а затем выбора наилучшего набора для задачи. К счастью для вас, цель PSO - сходиться в оптимальном месте, и А. Энгельбрехт доказал, что не все слагаемые параметров сходятся. Here - это документ, в котором есть объяснение. Условия конвергенции указаны на стр. 945 и 947. Я уверен, вы также можете найти документ, который был выпущен в ссылках, перечисленных на слайде. Помимо этого сужения, вам просто нужно найти баланс разведки и эксплуатации, который соответствует вашей конкретной проблеме.

Кроме того, я хотел бы сообщить вам, что из моего опыта использования PSO для развития нейронных сетей не так эффективно, как использование общих методов backprop, пока ваши данные являются статическими. Если вы работаете в динамической среде, тогда лучше выбрать квантовый/заряженный PSO.

Я надеюсь, что это сузило поиск параметров и предоставило вам дополнительную информацию.

Редактировать:

Заменено связь с бумагой с аналогичным графиком Примечание:

документ, который включает в себя график:

«Исследование траекторий частиц частиц оптимизации рой» F. van den Bergh, AP Engelbrecht