Menu

1 Bit – formula matematică

0 Comment
0Shares
1 Bit – formula matematică
Acordă o notă acestei postări

1 bit reprezintă unitatea de măsură a cantității de informație. Acest concept de bit a fost inventat de Claude Shannon în 1948 și este utilizat în compresia datelor și a transmisiunilor numerice. Intuitiv, este echivalent cu alegerea dintre 2 valori(da/nu, adevărat/fals, deschis/închis) când acestea au aceeași probabilitate de a fi alese. În general, pentru evenimente care nu sunt neapărat echiprobabile, cantitatea de informație a unui eveniment reprezintă „surpriza” de a constata apariția acestui eveniment; de exemplu, dacă un eveniment este cert, apariția lui nu surprinde pe nimeni, prin urmare conținutul lui informativ este nul; dacă, din contră, un eveniment e rar, apariția lui e surprinzătoare, prin urmare conținutul lui informativ este ridicat.

Din punct de vedere matematic, cantitatea de informație în biți a unui eveniment este opusul logaritmului în baza 2 din posibilitatea evenimentului. Alegerea numărului 2 ca bază a logaritmului este deosebit de semnificativă în cazul elementar de alegere între două alternative(informație de 1 bit), dar e posibil de utilizat și e(numărul lui Euler), utilizând deci logaritmul natural; în cazul acesta, vom numi unitatea de măsură a informației „Nat”.

În cazul a două evenimente echiprobabile, fiecare are probabilitatea de 0,5, și deci cantitatea lor de informație este  −log2(0,5) = 1 bit.

Dacă un eveniment este imposibil, probabilitatea este zero, prin urmare cantitatea sa de informație este infinită.

Dacă un eveniment este cert, probabilitatea sa este 1 și cantitatea sa de informație este −log2(1) = 0 bit.

Dacă sunt două evenimente posibile, unul cu probabilitatea de 25% și celălalt cu probabilitatea de 75%, apariția primului eveniment transmite informația de −log2(0,25) = 2 bit, în timp ce apariția celui de-al doilea eveniment transmite informația de −log2(0,75) = ~0,415 bit.

Conținutul informativ(sau entropia) unui generator de evenimente(numit „sursă”) este media statistică a conținuturilor informative a fiecărei posibile valori, adică suma informațiilor cântărite înmulțită cu probabilitatea valorii corespunzătoare.

În cazul a două valori cu probabilitate 25% și 75%, conținutul informativ al sursei este:

0,25 × −log2(0,25) + 0,75 × −log2(0,75) = ~0,811 bit.

Deci sursa generează mai puțin de 1 bit pentru fiecare eveniment.

În cazul a două evenimente echiprobabile, avem:

0,5 × −log2(0,5) + 0,5 × −log2(0,5) = 0,5 × 1 + 0,5 × 1 = 1 bit.

Deci sursa generează exact 1 bit pentru fiecare eveniment.

Sursa: https://it.wikipedia.org/wiki/Bit

0Shares