香農定理是信息論的主要內容。香農定理實際上是多個定理構成，國內似乎比較常用“香農三定理”的提法，而在國外資料很少這么提.

信息論和香農定理

信息論研究信息的量化，存儲和傳播。最初由克勞德·香農于1948年提出，他在具有里程碑意義的題為《通訊的數學原理》的論文中闡述了信號處理和通信操作（如數據壓縮）的基本限制。信息論的基本的應用主題包括無損數據壓縮（例如ZIP文件），有損數據壓縮（例如MP3和JPEG）和信道編碼（例如用于DSL）。[頭條·小宇堂-未經許可嚴禁轉載]

信息論的一個關鍵量是“熵”。熵是不確定性的定量描述。例如，擲骰子的可能性。信息論中還討論的其他一些重要的量包括：互信息、信道容量、誤差指數和相對熵等等。

上圖：克勞德·艾爾伍德·香農-1916.4.30-2001.2.24,享年84歲。美國。專業領域：電子工程學和數學。

香農定理涉及這三個部分：

• 信道編碼——主要涉及噪音下模擬信道的信道容量的定理，即香農-哈特利定理（香農-哈特利定理只描述涉及高斯噪音的模擬信道，但還有二進制信道模式的模式的對應定理這里略述）

• 信源編碼——包含涉及無損編碼和有損編碼的兩個定理；

• 信源采樣——奈奎斯特-香農采樣定理

但國內資料常說的“香農三定理”是指前兩個部分所涉及的的三個定理，下面主要詳述這三個定理：

有噪音的模擬信道編碼定理（國外資料一般稱“香農-哈特利定理”）

注意：這個定理在國外資料中才通常被簡稱為“香農定理”

這個定理通俗地說，就是首先表明了如果傳輸信息的信道存在噪音，但是也可以實現信息的傳遞，然后可以根據帶寬等參數計算出信息傳遞的最大的有效速率。

這可以通俗地類比我們熟悉的語音通話，雖然在電話里面有很多電流噪音或者環境噪音，但是我們仍然可以聽懂對方講的話。因為我們用語音和語言對信息進行了雙重的編碼，

“語音”這種編碼可以在大量噪音干擾的情況下仍然能夠工作，那是因為我們的聲音通常有一個帶寬，但噪音往往只是某一個頻率的聲音，不一定能夠覆蓋我們嗓音的全頻段。因此即便低音或高音被噪音干擾，我們仍然能聽到對方在說什么。而另一方面，如果對方聽不清楚，我們還可以提高嗓門來提升我們說話的“信噪比”，從而保證對方能夠聽清楚我們所說的話。

上圖：有噪信道編碼定理的計算公式，可以用打電話的例子來解釋一下。嗓音越高，噪音越低，嗓音越渾厚（而不是尖利，尖利的嗓音所用的頻段要少一點），就越容易被聽清楚。[頭條·小宇堂-未經許可嚴禁轉載]

可變長無失真信源編碼定理（無損編碼）

通俗地說就是我們今天用到的各種無損編碼算法——我們現在用的ZIP,RAR壓縮，以及APE，FLAC等編碼算法都屬于無損壓縮，采用這些算法可以在不損失原有信息的情況下減少存儲這些信息的數據量。

這個原理通俗點說就像是對一疊紙牌：

• 如果是有序排列的（熵較低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一個很很短的符號，例如“A-K”來記錄這個序列所代表的信息(這也說明這個序列所含有的信息很少)；

• 但如果這疊紙牌是亂序排列的（熵較高），那么就需要更多的符號來記錄才能確保序列所傳達的信息不丟失。

如果用前面語音通話的例子來說明的話，就是某人口吃說了很多重復話，諸如：“我我我我對你很很很景景景仰……”，可以無損地編碼為“我對你很景仰……”，這就是無損壓縮，但完全不損失需要表達的信息（其實也丟失了口吃重復數量的信息，嚴格地說應該編碼成“我4對你很3景3仰……”）。

有損信源編碼定理，又稱傳輸率-扭曲定律

該定理通俗的解釋可以沿用前面語音通話的例子，我們用“語音”的編碼方式規避了信道噪音，此外我們還可以用“語言”編碼的方式“長話短說”來讓對方大概了解我要表達的意思。

例如：“我對你的景仰，猶如長江之水滔滔不絕，如黃河泛濫一發”這句話，可以壓縮成“我好敬仰你”這五個字，如果打電話這么說就省時間和電話費了（例如國際或者星際長途）。但是這個壓縮的過程是丟失了信息的，諸如那種“滔滔不絕”和“泛濫一發”的情態和趕腳就沒有了。

所以有損壓縮是在設定的一個信息丟失率標準之下來尋找一個滿足此要求的算法，香農告訴你你一定找得到，就這么個意思。

所以，如果你對剛才那句表達景仰的話的“保真率”要求提高一點，可以這么編碼：“我對你的景仰猶如長江黃河之水泛濫不絕”。[頭條·小宇堂-未經許可嚴禁轉載]

當然要保真，“成本”就高了，就得多花點時間說和更多的電話費。

上圖：無損（上）和有損（下）壓縮的差異比較。有損壓縮可以有更大的壓縮率，但是還原之后損失了信息量。

總結

我們用語音通話的例子來通俗地解說香農定理，請特別注意“語音”和“語言”兩種編碼方式，分別對應香農定理當中的“信道編碼”和“信源編碼”兩個不同的部分。語音是解決傳輸過程中噪音問題而做的編碼（如果是通過心靈感應就沒這個需求了）；語言編碼則可以是有損或者無損壓縮的，甚至是不壓縮的（就讓他結巴吧）。

香農定理或者說香農的理論對旅行者號深空任務的成功，光盤的發明，手機通訊的可行性，互聯網的發展，語言學和人類感知的研究，乃至對黑洞的理解和許多其他領域都有非常深遠的影響。