互信息

互信息是信息論中一種有用的信息測度，可以看作是一個隨機變量所包含的關于另一個隨機變量的信息，或者是知道另一個隨機變量所減少的不確定性。互信息的定義和交叉熵近似。互信息與多元對數似然比檢驗和皮爾遜檢驗密切相關。

互信息是計算語言學模型分析中常用的方法，它度量兩個對象之間的相互關系。用于衡量過濾問題中特征對主題的區分程度。互信息的定義和交叉熵近似。

互信息原本是信息論中的一個概念，用來表示信息之間的關系 是兩個隨機變量之間統計相關性的度量用于特征提取的互信息理論的使用基于以下假設：在某個類別中出現頻率高而在其他類別中出現頻率低的條目與該類別的互信息更大。

互信息通常被用作特征詞和類別之間的度量如果特征詞屬于這一類，其互信息最大。由于這種方法不需要對特征詞和類別之間關系的性質做任何假設，因此非常適合文本分類中特征和類別的配準。

信息是物質、能量、信息及其屬性的標記。逆維納信息定義了信息是確定性的增加。逆香農信息將信息定義為事物現象及其屬性標識符的集合。

一般來說，信道中總是存在噪聲和干擾信源發出一個消息X，經過信道后，信宿可能只接收到一些干擾造成的變形Y。接收到Y后，信宿推斷信源發送x的概率，這個過程可以通過后驗概率p來確定(x|y)來描述。因此，源發射x的概率p(x)稱為先驗概率。我們將X的后驗概率與先驗概率之比的對數定義為Y與X的互信息（簡稱互信息）