Есть ли какие-либо методы извлечения объектов на основе взаимной информации?

Question

У меня есть набор данных D = {X, y}, который имеет 800 функций ввода и один непрерывный выход. Я ищу любые способы извлечения признаков, которые удовлетворяют двум условиям

(1) Matlab коды доступны для загрузки

(2). Метод должен каким-то образом отобразить вход x в преобразованный вход z, где z - вектор d, (d < < 800), так что взаимная информация между z_i и y как можно выше.

Я думаю, что методы должны относиться к CCA, однако при выполнении CCA (X, y) я получу вектор z, который имеет только одно измерение. Я надеюсь, что методы должны иметь возможности выбора лучших хороших функций, таких как PCA.

Спасибо,

Answer 1

Это обрамление проблемы «Информация Buttleneck», которая может быть решена в некоторых случаях в EM-как итерационного алгоритма или эвристической через жадный, агломерационного процесса кластеризации.

Полезные ссылки:

• Wikipedia
• Paper
• Matlab код: (1) by G. Chechik или (2) in the VLfeat library

Действительно он глубоко связан с ОАС; при определенных предположениях о проблеме (т. е. гауссовости) это соотношение можно сделать точным (см. ссылку Википедии и this paper).