Понимание Взаимная информация

Question

Недавно я работаю над аргументами метода выбора объектов. Я старался доказать гипотезу (описанную ниже), но потерпел неудачу, и кто-то сказал мне без доказательства того, что гипотеза не выполняется.

Так что я хотел бы получить некоторую помощь от общественности о том, как доказать гипотезу.

Общая информация I (A; B) может быть описана как объем общей информации между A и B. Затем условную взаимную информацию I (A; B | C) можно интерпретировать как: количество неизвестных общая информация A и B, предоставляющая C. Следуя приведенной выше ИНТЕРПРЕТАЦИИ условной взаимной информации, мы можем иметь следующую гипотезу, поскольку D может предоставить дополнительную информацию о I (A; B | C).

I(A;B|C,D)<=I(A;B|C) 

Буду благодарен за любую помощь.

Answer 1

Ваша гипотеза была бы правдой, если бы вы говорили об энтропии, а не о информации. Но в вашем случае вы ничего не можете сказать.

Вы найдете ответ на свой вопрос (с надлежащим доказательством) в этой статье: http://www.ece.tufts.edu/ee/194NIT/lect01.pdf

Page 2 представлена ​​монотонность энтропии (формула 9, без каких-либо доказательств), и страница 7 представлена свойство «без монотонности» взаимной информации (с надлежащим доказательством).

Если вы хотите более глубокое и все доказательства вам нужно, есть еще один документ: https://web.cse.msu.edu/~cse842/Papers/CoverThomas-Ch2.pdf См страницы 27 и 33.

Ваша интерпретация прав: I(A;B|C) это количество неизвестно общей информации между A и B, обеспечивающий C. В некоторых случаях знание C даст информацию о возможных состояниях A и B, таким образом уменьшая I(A;B). Для этого случая вы можете нарисовать диаграмму Венна, где A и B перекрываются, и где C включен в пересечение A и B.

Но в некоторых других случаях знание C «создает» связь между A и B. Например, если A и B являются независимыми справедливыми двоичными случайными величинами и C = A + B. Затем неизвестный C делает невозможным разделение между A и B, но знание C позволяет рассматривать различные возможные комбинации A и B. В этом случае я не думаю, что есть возможность рисовать диаграмму Венна, потому что диаграмма Венна будет изменена, когда появится переменная C.

Надеюсь, я достаточно ясен, если это может помочь людям, пытающимся понять условную взаимную информацию.