Хорошее введение в теорию информации, пожалуйста?

Question

Я знаю о Wikipedia и MacKay's Information Theory, Inference, and Learning Algorithms (подходит ли это как учебник?). Исследуется учебник, начинающийся с энтропии Шеннона и проходящий через Условную энтропию и взаимную информацию ... Любая идея? Если вы проводите такой курс в своем университете, какой учебник используется?

Спасибо.

Answer 1

Я использовал следующий учебник во время учебы в CS по адресу EPFL. ИМО, он хорошо написан, с хорошими объяснениями и охватывает более чем достаточно для введения в домен.

Elements of Information Theory

Elements of Information Theory http://ecx.images-amazon.com/images/I/51HVK59X77L.jpg

EDIT: Для дальнейшего чтения, вот некоторые другие показания, что мой профессор сделал ВЫГОДНО. Я не читал их (позор мне), поэтому я не могу сказать, хороши они или нет.

1. RG Галлагер, Information Theory and Reliable Communication, Wiley, 1968.
2. Д. Маккей, Information Theory, Inference & Learning Algorithms, Cambridge University Press, 2008. (Вы уже упоминали)
3. I. Csiszár и J. Korner, Information Theory: Coding Theorems for Discrete Memoryless Systems, AKADEMIAI Kiadó, 1997.
4. C. E. Shannon, The Mathematical Theory of Communication