La Entropía es entendida como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.
Claude Shannon definió en sus prodigioso artículo A Mathematical Theory of Information el concepto de Entropía. determinó que la cantidad de información (medida en bits) necesaria para codificar un dato era de: log(1/p) donde p es la probabilidad de que aparezca ese dato y log es el logaritmo en base 2. Si queremos saber la cantidad de bits que necesitaremos (de media) para codificar un elemento del conjunto tan sólo tenemos que multiplicar la información necesaria para codificar cada elemento por la probabilidad de que ese elemento aparezca.
La entropía es una magnitud que mide la información generada por una fuente de datos. La medida de la entropía puede aplicarse a fuentes de información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia.
Fuentes:
- http://blog.pseudolog.com/article/teoria-de-la-informacion-entropia
- http://tiopetrus.blogia.com/2005/061501-entropia-y-cantidad-de-informacion-3-.php
No hay comentarios:
Publicar un comentario