Math

1. 香农信息量

信息量可以理解为不确定性的多少。

香农信息量 $=log \frac{1}{p}=-logp$ (以 2 为底)

上式中，p 越小，则不确定性越大，包含的信息量就越多。比如 32 支球队，在无任何先验信息的前提下，用二分法猜冠军队伍，最多猜 5 次，也就是 $log {1\over32}=5$。

香农信息量的单位是比特 (bit)。