这个问题可能比较简单，但是也算是一点感悟吧。我们来看个例子（来自：http://blog.csdn.net/acdreamers/article/details/44661149）：

 

 

 

 

 

 

 

 

当前信息的熵计算如下：

 

再看下，按照outlook分类后的例子：

分类后信息熵计算如下：

 

 

代表在特征属性的条件下样本的条件熵。那么最终得到特征属性带来的信息增益为

信息增益的计算公式如下

 

好吧，抄别人的东西到此为止了：

 

这里要说的是为什么分类多了信息熵会减少？？？？？？？？？？？？

 

我们从概念和功能上分析：物体越不稳定或者可能性越多或者成分越复杂，越不确定信息熵就越大，因此我们对

物体进行分类后，物体成分逐渐变得简单（pure），所以熵就减少啦。

 

 

最大的熵出现在每种情况发生概率相同的时候。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 信息熵的定义：