information theory

定義：應用數理統計方法研究信息處理和傳遞的理論。

學科：資源科學技術_資源信息學

相關名詞：數理統計 密碼學 信息編碼 信息安全

圖片來源：視覺中國

【延伸閱讀】

信息論是應用數學、電子學和計算機科學的一個分支，它使用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題。信息論的研究范圍極為廣闊，可分為狹義信息論、一般信息論和廣義信息論。狹義信息論是應用統計方法研究通信系統中信息傳遞和信息處理的共同規律的科學，即研究概率性語法信息的科學；一般信息論主要是研究通信問題，但還包括噪聲理論、信號濾波與預測、調制與信息處理等問題；廣義信息論是應用數學和其他有關科學方法研究一切現實系統中信息傳遞和處理、信息識別和利用的共同規律的科學，即研究語法信息、語義信息和語用信息的科學。

信息論的發展歷史可以追溯到20世紀40年代，由克勞德·香農在1948年發表的《通信的數學理論》一文中首次提出，標志著信息論作為一門獨立的學科正式誕生。香農提出了信息熵的概念，用于度量信息的量，并研究了信道容量和數據壓縮等問題。這個階段的信息論主要應用于通信和密碼學等領域。

20世紀50年代至70年代是信息論的核心理論發展階段。在這個階段，信息編碼和數據壓縮的理論基礎得到建立，哈夫曼編碼、LZ77和LZ78等算法的提出和應用，推動了信息論的發展。這些理論和技術在計算機領域得到了廣泛的應用，涉及數據壓縮、文件存儲、網絡傳輸等方面。

20世紀80年代至今是信息論的應用擴展和挑戰階段。隨著計算機和互聯網的普及，信息論的應用范圍逐漸擴大，擴展到信息安全、數字版權保護、數據隱私等方面，也面臨著如何處理大量信息和如何提高信息處理效率等挑戰。這個階段的研究和應用表明，信息論在解決實際問題的同時，也可以幫助我們更好地理解和掌握信息的本質和規律。

（延伸閱讀作者：西華師范大學數學與信息學院 李斌斌博士）

責任編輯：張鵬輝