<form id="r8pbt"></form>
        1. 百度的財報穩了:但新業務的業績在哪? 替補高效30分步行者過關掘金加時1分險勝公牛 兒童醫院公開賽:斯皮思集中解決推桿和一號木問題 “叫板”美元,日本和印度簽署最大規模貨幣互換協定 薩拉赫手纏繃帶傷勢未愈!英媒:恐缺戰阿森納 羅斯夢回巔峰的原因!東方神秘力量是神助攻嗎 伊藤忠商事對中信集團的投資將出現巨額虧損

          有噪信道編碼定理

          2018-05-02 15:45:06

          在信息論里,有噪信道編碼定理指出,盡管噪聲會干擾通信信道,但還是有可能在信息傳輸速率小于信道容量的前提下,以任意低的錯誤概率傳送數據信息。這個令人驚訝的結果,有時候被稱為信息原理基本定理,也叫做香農-哈特利定理香農定理,是由克勞德·艾爾伍德·香農于1948年首次提出。

          通信信道的信道容量或香農限制是指在指定的噪音標準下,信道理論上的最大傳輸率。

          目錄

          • 1 總述
          • 2 數學描述
          • 3 證明框架
            • 3.1 離散無記憶信道的可實現性
            • 3.2 弱逆離散無記憶信道
            • 3.3 強逆離散無記憶信道
          • 4 時變無記憶信道的信道編碼定理
            • 4.1 簡略證明
          • 5 參考文獻
            • 5.1 引用
            • 5.2 來源
          • 6 外部鏈接
          • 7 參見

          總述

          根據香農1948年的陳述,本定理描述了在不同級別的噪音干擾和數據損壞情況下,錯誤監測和糾正可能達到的最高效率。定理沒有指出如何構造錯誤監測的模型,只是告訴大家有可能達到的最佳效果。香農定理可以廣泛應用在通信和數據存儲領域。本定理是現代信息論的基礎理論。香農只是提出了證明的大概提綱。1954年,艾米爾·范斯坦第一個提出了嚴密的論證。

          香農定理假設一個有噪音的信道,信道容量為C,信息以速度R傳送,如果

          那么就存在一種編碼技術使接收端收到的錯誤達到任意小的數值。這意味著理論上,有可能無錯誤地傳送信息直到達到速度限制C。

          反過來同樣重要。如果

          那么想達到任意小的錯誤率是不可能實現的。因此,在傳送速度超過信道容量的時候,可靠傳輸信息是不能被保證的。定理并沒有指出在什么特殊情況下速度和容量相等。

          簡單的流程如"重復發送數據3遍,用一個投票系統在數據不一樣的時候選擇3個里面相同的那兩個的值"是低效的錯誤糾正的方式,不能保證數據塊能完全沒有錯誤地傳送。先進一些的技術如里德-所羅門碼編碼技術和更現代一些的Turbo碼、LDPC碼等編碼技術更逼近香農限制,但是計算復雜度很高。

          數學描述

          定理(香農,1948年):

          1.一個離散無記憶信道的信道容量
          具有以下特點:任給ε > 0, R < C,存在著長度為N,信息傳輸速率小于等于R的編碼和相應解碼算法,使得最大可能傳輸錯誤率≤ ε。
          2.如果允許誤碼率pb,那么存在一種編碼方式,使得信息傳輸速率速度可以提高到R(pb),其中
          是一個二元熵函數,定義為
          3.給定,不存在速度大于R(pb)的編碼方式,使得最大可能傳輸錯誤率小于。(MacKay (2003), p. 162; cf Gallager (1968), ch.5; Cover and Thomas (1991), p. 198; Shannon (1948) thm. 11)

          證明框架

          和信息論的其它主要結果一樣,噪音信道編碼定理包括一個可以實現的結果和相應的相反的結果。這兩個組成部分中間有一個界線。在本案例中,可以通過有噪音的信道的可能速度的集合和相應邊界顯示出這是一個緊密邊界。

          下面的證明框架只是已有的許多種不同證明方法中的一種而已。

          離散無記憶信道的可實現性

          下面這個可實現性的證明是使用漸近等同分割特性(Asymptotic equipartition property - AEP)方法。另一種信息論常用證明方法是錯誤列舉法(Error Exponent)。

          兩種證明方法都使用隨機編碼參數來構造信道。這樣的目的是減少計算的復雜度,同時仍舊可以證明在速度低于信道容量的時候,存在誤碼率在可接受范圍甚至是接近于理想的無失真的編碼方式。

          采用AEP相關的參數,一個指定的信道,長度為n的源字符串,和長度為n的信道輸出的字符串,我們可以定義一個以下匹配序列集合

          我們可以說兩個序列匹配序列,如果它們是基于上述定義的匹配序列集合。

          步驟

          1. 在隨機編碼參數的方法上,我們可能的范圍Q里面隨機產生長度為n的編碼串。
          2. 這個編碼和發送端與接收端有關。同樣假設雙方知道傳輸信道使用的傳輸矩陣。
          3. 在同樣的范圍里選擇消息W,因此,。
          4. 消息W通過信道傳送。
          5. 接收端收到了一個基于的序列。
          6. 將這些編碼串通過信道發送,我們收到了,如果在編碼表里存在和Y匹配的一個序列,該序列并被解碼成為源編碼序列,如果沒有找到,就報告一個錯誤。如果解碼出的序列和原來的序列不一樣,同樣報告一個錯誤。

          這個流程產生的錯誤可以分成兩個部分:

          1. 沒有找到和接收到的Y序列相匹配(或在允許的誤碼率條件下)的X序列。
          2. 接收到的Y序列解碼成一個錯誤的X序列。
          • 考慮到構造碼時的隨機性,我們可以假設平均的錯誤的產生率和碼發送的序列沒有關系。因此,我們假設W = 1。
          • 從匹配AEP方法考慮,我們知道隨著n的逐漸增加,沒有對應的X的可能性慢慢降為0。我們可以用來標記這個錯誤的可能性。
          • 同樣從匹配AEP方法考慮,我們知道一個指定的,作為W = 1的結果是匹配序列的可能性為。

          定義:

          作為消息1發送出去,消息i作為匹配的消息接收到的結果。

          我們可以發現如果信道,n變為無窮大,錯誤的可能性將降為0。

          最后,假設平均的編碼方式是“好”的話,我們知道存在一個編碼方式的效率比平均的值要好,因此可以滿足我們在有噪音的信道低誤碼率的要求。

          弱逆離散無記憶信道

          假設一種編碼有個編碼詞語。W假設為在這個集合上的一個索引。設分別為編碼詞和接收到的詞。

          1. 使用同樣的熵和同樣的信息
          2. X是W的一個函數
          3. 使用Fano不等式
          4. 信道容量設為最大化

          這些步驟的結果是。當塊的長度變為無窮大,如果R比C大,我們得到不可能降到0。只有在R比C小的情況下,我們可以得到任意低的誤碼率。

          強逆離散無記憶信道

          強逆定理證明由Wolfowitz于1957年提出。1,證明歸結于證明如下不等式,

          其中為有限的正常數。當變為無窮大的時候,弱逆定理證明錯誤的可能性不可能變成0,而強逆定理證明了錯誤以指數方式趨向于1。因此,是可靠連接和不可靠連接的臨界點。

          時變無記憶信道的信道編碼定理

          我們假設信道是無記憶的,但是隨著時間的變化,傳輸的可靠性是變化的。發送端和接收端一樣工作正常。這樣信道容量如下

          。

          針對每個不同的信道,計算出取得該信道容量似的分布,以求得上式中的最大值,這樣 ,信道i的容量為。

          簡略證明

          證明方法和上面信道編碼定理幾乎一樣。在指定的信道里,每一個符號的選擇是隨機的,編碼方式也是隨機的,采用漸近等同分割特性(AEP)方法來定義變化的無記憶信道的參數集。

          不收斂時,下極限開始起作用。

          參考文獻

          引用

          1. ^ Robert Gallager. Information Theory and Reliable Communication. New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3

          來源

          • 克勞德·艾爾伍德·香農:《通信的數學理論》Urbana, IL:University of Illinois Press, 1949(reprinted 1998)。
          • 艾米爾·范斯坦:《信息論的一個新的基礎定理》IEEE Transactions on Information Theory, 4(4):2-22, 1954.
          • 羅卜特·梵高:《信息傳輸,通信的一個統計理論》Cambridge, Mass., M.I.T. Press, 1961. ISBN 0-262-06001-9
          • 雅各布·Wolfowitz:《面對誤碼的信息編碼》Illinois J. Math., vol. 1, pp. 591-606, 1957.
          • David J. C. MacKay.《信息論推理,算法演繹》Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
          • Thomas Cover, Joy Thomas,《信息論要素》。New York, NY:John Wiley & Sons, Inc., 1991. ISBN 0-471-06259-6

          外部鏈接

          • 香農定律失效鏈接
          • 在線書:信息論推理,算法演繹,by David MacKay英語David MacKay - 介紹關于香農定理的一些基本知識,包括兩種證明方式,也介紹了現在流行的編碼方式。

          參見

          • 通信、信道、信道容量、香農極限
          • 信息論、克勞德·香農

          博狗博彩