Resultado da Busca
Para a área de Teoria da Informação, a entropia é definida como sendo uma forma de medir o grau médio de incerteza a respeito de fontes de informação, o que consequentemente permite a quantificação da informação presente que flui no sistema.
Há 1 dia · A entropia é um conceito central tanto na física quanto na teoria da informação. No contexto da teoria da informação, entropia mede a quantidade de incerteza ou aleatoriedade associada a uma fonte de informações. Claude Shannon, o fundador da teoria da informação, introduziu este conceito em seu trabalho seminal “A Mathematical ...
Tópico 2 – Parte II: Fundamentos da Teoria de Informação Profs. Levy Boccato e Romis Attux – DCA/FEEC/UNICAMP 13 3.3. Entropia e Codificação de Fonte Para exemplificar o uso do conceito de entropia no âmbito da teoria de codificação, lidaremos com o conceito de codificação de fonte. Trata-se, fundamentalmente, do
entropia – medida de incerteza ou aleatoriedade de variáveis aleatórias individuais ou combinadas; e . informação mútua – dependência estocástica entre variáveis aleatórias. Este capítulo reúne fundamentos teóricos da teoria da informação, sendo expressos de maneira descritiva.
A medida chave em teoria da informação é a entropia. A entropia é o grau de aleatoriedade, de indeterminação que algo possui. Quanto maior a informação, maior a desordem, maior a entropia. Quanto menor a informação, menor a escolha, menor a entropia. [1]
Entropia formulado por Claude Shannon no desenvolvimento da Teoria da Informação, bem como as influências que este e outros conceitos da mesma teoria tiveram em outras ciências, em especial a Física.
A ideia fundamental é que se a entropia de uma fonte de informação diminui, isso significa que podemos fazer menos perguntas para adivinhar a saída. Graças a Shannon, o bit, que é uma unidade de entropia, é adotado como nossa medida de informação quantitativa ou medida de surpresa.
