Resultado da Busca
Para a área de Teoria da Informação, a entropia é definida como sendo uma forma de medir o grau médio de incerteza a respeito de fontes de informação, o que consequentemente permite a quantificação da informação presente que flui no sistema.
A medida chave em teoria da informação é a entropia. A entropia é o grau de aleatoriedade, de indeterminação que algo possui. Quanto maior a informação, maior a desordem, maior a entropia. Quanto menor a informação, menor a escolha, menor a entropia. [ 1] .
A entropia da fonte, portanto, corresponde a um limite inviolável quando se trata de compactar dados (ou seja, “enxugar” a informação sem perdas). Para obter códigos com comprimento médio menor que o dado pela entropia, será necessário admitir algum grau de distorção.
Resumo. Esta dissertação tem por objetivo investigar as origens do conceito de Entropia formulado por Claude Shannon no desenvolvimento da Teoria da Informação, bem como as influências que este e outros conceitos da mesma teoria tiveram em outras ciências, em especial a Física.
- 601KB
- 126
A entropia na teoria da informação é diretamente análoga à entropia na termodinâmica estatística. A analogia resulta quando os valores da variável aleatória designam energias de microestados, então a fórmula de Gibbs para a entropia é formalmente idêntica à fórmula de Shannon.
A entropia é normalmente usada na teoria da informação para medir a pureza ou impureza de um determinado conjunto. A pergunta que ela responde é: O quanto diferente/iguais esses elementos são entre si? Claro que as aplicações desse conceito vai muito além da teoria da informação.
A ideia fundamental é que se a entropia de uma fonte de informação diminui, isso significa que podemos fazer menos perguntas para adivinhar a saída. Graças a Shannon, o bit, que é uma unidade de entropia, é adotado como nossa medida de informação quantitativa ou medida de surpresa.
