由于在實際的通信系統中，消息往往是指發送的某些符號。這些符號到底能攜帶多少信息量，與這些符號發生的概率有關，而對于任何接收端來說，這些符號發生的概率是一定的，不會說對這個接收機是這個概率，對那個接收機是那個概率。比如有一串符號221234，這串符號由1，2，3，4四個符號組成，假設四個符號出現的概率都是1/4，那么在這串符號中，2出現了3次，所以2所攜帶的信息量是-3×log2(1/4)=6bit。我們需要明白，通信系統中傳送的符號，就相當于我們現在談論的消息。由于在實際的通信系統中，消息往往是指發送的某些符號。這些符號到底能攜帶多少信息量，與這些符號發生的概率有關，而對于任何接收端來說，這些符號發生的概率是一定的，不會說對這個接收機是這個概率，對那個接收機是那個概率。比如有一串符號221234，這串符號由1，2，3，4四個符號組成，假設四個符號出現的概率都是1/4，那么在這串符號中，2出現了3次，所以2所攜帶的信息量是-3×log2(1/4)=6bit。我們需要明白，通信系統中傳送的符號，就相當于我們現在談論的消息。