Em informática, o bit foi criado como um padrão conveniente, para representar a dive...

Em informática, o bit foi criado como um padrão conveniente, para representar a diversidade presente em um conjunto que inclui apenas duas mensagens igualmente prováveis, que podem ser identificadas a partir de uma única pergunta do tipo “sim ou não”. Assim, em um grupo formado por duas mensagens, A e B, que têm as mesmas chances de ocorrência, para identificar qualquer uma delas, escolhida ao acaso, basta uma única pergunta do tipo “sim ou não”; em consequência, diz-se que cada uma delas tem uma quantidade de informação igual a 1 bit. Já em um conjunto mais variado, formado, por exemplo, por 4 mensagens equiprováveis A, B, C, D, é possível identificar uma mensagem escolhida ao acaso, com base em duas perguntas do tipo “sim ou não”. Basta separar o conjunto em duas metades e identificar, com uma pergunta, a parte em que se encontra a mensagem escolhida; recorrendo-se a outra pergunta do mesmo tipo, será possível descobrir exatamente a mensagem referida. Nesse caso, diz-se que cada uma das mensagens tem 2 bits de informação. Raciocinando-se de modo semelhante, conclui-se que, em um repertório de 8 mensagens, a quantidade de informação de cada uma delas é igual a 3 bits; se forem 16 as mensagens equiprováveis, cada uma terá 4 bits, e assim por diante.

Embora o número n de mensagens não seja, necessariamente, igual a uma potência inteira de 2, ainda assim é possível medir a quantidade k de informação, em bits, procurando-se o número k tal que