La entropía es un concepto relacionado con la incertidumbre e impredecibilidad en teoría de la información. Cuanto mayor sea la probabilidad de que ocurran diferentes resultados en un sistema, mayor será su entropía. Shannon definió la entropía como una medida de la información promedio necesaria para describir el resultado de un experimento aleatorio, dada por una fórmula basada en las probabilidades de cada posible resultado. La entropía es máxima cuando todos los resultados posibles son igualmente probables.