information-theory

4зной

3ответ

Мера энтропии Шаннона в деревьях принятия решений

Почему мера энтропии Шеннона используется в ветвях дерева решений? Энтропия (S) = - р (+) журнал (р (+)) - р (-) журнал (р (-)) Я знаю, что это мера ни в , бит, необходимый для кодирования информации;

0зной

2ответ

Вычисление взаимной информации

Предположим, что M - это набор объектов m, каждый из которых имеет атрибуты X и Y. Теперь, если X и Y могут иметь только одно значение для данного m (т. Е. X, Y - случайные величины с P (X = x_i | M =

7зной

1ответ

Сжимаемость Пример

Из моего учебника алгоритмов: Ежегодная гонка графства лошади приносит в трех чистокровных, которые никогда не конкурировали друг против друга. Возбужденные, вы изучаете их прошлые 200 гонок и суммиру

1зной

1ответ

Взаимная информация/Справка расчета энтропии

Надеясь, что кто-то может дать мне несколько указателей с этой проблемой энтропии. Говорить X выбирается случайным образом из равномерного целочисленного распределения 0-32 (включительно). Я вычислил

0зной

2ответ

Маркова энтропия при вероятности неровные

Я думал об информационной энтропии в терминах уравнения Маркова: H = -sum (р (я) LG (р (я)), где LG является базой 2 logarithm Предполагается, что все выборы имеют равную вероятность. Но что, если вер

3зной

2ответ

сжатие данных - обучение машин для экспоненциального распределения

Существуют ли алгоритмы машинного обучения, модели прогнозирования, которые могут помочь мне сжать экспоненциально распределенные данные? Я уже закодировал файл, используя коды golomb, который определ

1зной

3ответ

Что такое матрица контроля четности? (Теория информации)

Я изучаю теорию информации, но одна вещь, которую я не могу понять. Я знаю, что дан линейный код C и порождающая матрица MI может проработать все возможные кодовые слова С. Однако я не понимаю: Какая