联合熵

两个变量${\displaystyle X}$ 和 ${\displaystyle Y}$ 的联合信息熵定义为：

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}\!}$

其中 ${\displaystyle x}$ 和 ${\displaystyle y}$ 是 ${\displaystyle X}$ 和 ${\displaystyle Y}$的特定值, 相应地, ${\displaystyle P(x,y)}$ 是这些值一起出现的联合概率, 若${\displaystyle P(x,y)=0}$ 为0，则${\displaystyle P(x,y)\log _{2}}$ 定义为0。

对于两个以上的变量 ${\displaystyle X_{1},...,X_{n}}$ ，该式的一般形式为：

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}\!}$

其中 ${\displaystyle x_{1},...,x_{n}}$ 是 ${\displaystyle X_{1},...,X_{n}}$ 的特定值，相应地，${\displaystyle P(x_{1},...,x_{n})}$ 是这些变量同时出现的概率，若${\displaystyle P(x_{1},...,x_{n})=0}$为0，则 ${\displaystyle P(x_{1},...,x_{n})\log _{2}}$ 被定义为0.

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

${\displaystyle \mathrm {H} (X,Y)\geq \max}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max}$

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在${\displaystyle X}$和${\displaystyle Y}$均为统计独立的时候相等。

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})}$

在条件熵的定义中，使用了联合熵

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$

互信息的定义中也出现了联合熵的身影：

${\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

在量子信息理论中， 联合熵被扩展到联合量子熵。