什么是熵定律？

熵的概念最早起源于物理學(xué)，用于度量一個(gè)熱力學(xué)系統(tǒng)的無(wú)序程度。熱力學(xué)第二定律，又稱“熵增定律”，表明了在自然過(guò)程中，一個(gè)孤立系統(tǒng)的總混亂度（即“熵”）不會(huì)減小。在信息論中，熵被用來(lái)衡量一個(gè)隨機(jī)變量出現(xiàn)的期望值。它代表了在被接收之前，信號(hào)傳輸過(guò)程中損失的信息量，又被稱為信息熵。信息熵也稱信源熵、平均自信息量。在1948年，克勞德·艾爾伍德·香農(nóng)將熱力學(xué)的熵，引入到信息論，因此它又被稱為香農(nóng)熵。熵在生態(tài)學(xué)中是表示生物多樣性的指標(biāo)。