熵的概念是由信息论的创始人申农(Shannon)提出的，在统计学中用它作为随机事件不确定程度的一种度量，描述给定长度为n的随机变量序列的熵随n的增长情况。