知识/定理
香农（1948）《通信的数学理论》：信息量 = 熵，信道容量——信息论诞生。
公式
熵 $H=-\sum p_i\log_2 p_i$（比特）；信道容量 $C=B\log_2(1+S/N)$。
证明思路
（概率+组合）对信源建模，证明存在编码使速率逼近容量（有噪信道编码定理）。
应用/例子
压缩（Huffman）、纠错码、通信、数据存储。
意义/影响
「信息」成为可测量、可最优化的物理量——数字通信与数据科学的理论基础。
DOXA · 数学编年史 · 知识详情
1948 ｜ 香农 ｜ 应用 ｜ 突破
香农（1948）《通信的数学理论》：信息量 = 熵，信道容量——信息论诞生。
熵 $H=-\sum p_i\log_2 p_i$（比特）；信道容量 $C=B\log_2(1+S/N)$。
（概率+组合）对信源建模，证明存在编码使速率逼近容量（有噪信道编码定理）。
压缩（Huffman）、纠错码、通信、数据存储。
「信息」成为可测量、可最优化的物理量——数字通信与数据科学的理论基础。