什么是互信息Mutual information
1. 什么是互信息Mutual information [1]
互信息(Mutual information)是描述一个随机变量中包含的关于另一个随机变量的信息。定义如下：
设两个随机变量(X, Y)的联合分布为p(x, y)，边缘分布为p(x)和p(y)，互信息I(X;Y)是联合分布p(x,y)与边缘分布p(x)p(y)的相对[[熵]]：
I(X;Y)=\sum_{x\in X}^{} \sum_{y\in Y}^{} p(x,y)\log_{}{\frac{p(x,y)}{p(x)p(y)} }
当且仅当X和Y相互独立的时候I(X;Y)=0。
从上图可以看到(H()表示熵):
H(X,Y)=H(x)+H(Y|X)=H(Y)+H(X|Y)
因此互信息I(X;Y)的计算方法为：
H(X)-H(X|Y)=H(Y)-H(Y|X)
按照熵的定义可以得到：
\begin{align} I(X;Y) & = H(X)-H(X|Y) \\ & = H(X)+H(Y)-H(X,Y) \\ & = \sum_{x}^{} p(x)\log_{}{\frac{1}{p(x)} } + \sum_{y}^{} p(y)\log_{}{\frac{1}{p(y)} } -\sum_{x}^{} p(x,y)\log_{}{\frac{1}{p(x,u)} } \\ & = \sum_{x,y}^{} p(x,y)\log_{}{\frac{p(x,y)}{p(x)p(y)} } \end{align}
2. 最大化互信息Mutual information maximization
从上面的图中可以看到，分布X和Y的互信息I(X;Y)越大，则X和Y的相关性越大，在数据集中就是两个数据集的概率分布越相似。在领域适应(domain adaptation)中，两个分布的互信息越大，则两个分布越相似。而领域适应的目标就是减小源域和目标域的分布差异。因此，可以用最大互信息来作为目标函数的正则项来减小源域和目标域的分布差异。
References
[1] 互信息——百度百科