漸近等分性

asymptotic equipartition property

?? 隨機變量長序列的一種重要特性，是編碼定理的理論基礎，簡稱AEP。當隨機變量的序列足夠長時,其中一部分序列就顯現出一種典型的性質：這些序列中各個符號的出現頻數非常接近于各自的出現概率，而這些序列的概率則趨近于相等，且它們的和非常接近于1,這些序列就稱為典型序列。其余的非典型序列的出現概率之和接近于零。序列的長度越長，典型序列的總概率越接近于1,它的各個序列的出現概率越趨于相等。漸近等分性即因此得名。

?? C.E.仙農最早發現隨機變量長序列的漸近等分性，并在1948年發表的論文《通信的數學理論》中把它表述為一個定理。后來，B.麥克米倫在1953年發表的《信息論的基本定理》一文中嚴格地證明了這一結果,因此,有人也把它稱為麥克米倫定理。

?? 漸近等分性有許多不同的具體形式，但一般地可以表述如下：若是一個符號表，共有個不同的符號,，…,,它們的出現概率分別是，，…，對進行次獨立的選擇,于是得到一個長度為的符號序列;總共有個長度為的不同序列?？梢宰C明,對于給定的兩個任意小的數＞0和＞0，一定可以找到一個正整數(它是,和的某種函數)，使所有長度為≥的序列可劃分為以下兩組。第一組包含＜個序列，其中各個序列都具有幾乎相等的出現概率，且有

???????????? 1－＜＜1和????????????[460-04]式中是的符號熵。實際上,當充分大時,=2。第二組包含其余的-個序列，它們的出現概率之和小于。顯然第一組包含的是典型序列,第二組包含的是非典型序列。在各個符號的概率不相等的情況下，序列長度越大,則與的差別越大,而與1的差別越小，-log/與的差別也越小。

?? 漸近等分性的意義在于：對于任意取有限個值的隨機變量,當用次獨立選擇的方法來形成編碼序列時,只要取得足夠大，就可以只考慮其中個典型序列，而其余所有的非典型序列均可以忽略。