In Una teoria matematica della comunicazione (wikipedia) - articolo che viene considerato uno dei pilastri fondanti della moderna teoria dell'informazione (wikipedia) - Shannon concettualizza e modella matematicamente il problema della comunicazione attraverso un canale rumoroso.
Il problema consiste nel riprodurre nel modo più preciso possibile in un punto (di Destinazione) un messaggio selezionato in un altro punto (Sorgente).
 |
| Problema della trasmissione di informazioni su un canale rumoroso |
La comunicazione avviene correttamente quando i due
messaggi (nella figura a sinistra e a destra del canale di comunicazione) coincidono o sono "sufficentemente simili".
Come si collega questo problema della comunicazione alla definizione di informazione (ciò che [...] supera un'incertezza) vista su wikipedia ? Con la teoria della probabilità...
Se il messaggio emesso dalla Sorgente è un simbolo s selezionato con probabilità p(s) da un insieme predefinito S (detto alfabeto), è possibile caratterizzare il contenuto informativo di s usando un'idea di base molto semplice: più un ricevitore è "sorpreso" (proprio nel senso di sorpresa! - wikipedia) nel vedere il simbolo s, più il suo contenuto informativo sarà alto. Matematicamente il contenuto informativo di s, indicato con I(s) è dato dalla seguente formula - log2 è il logaritmo in base 2
In questo senso l'informazione può essere vista come una riduzione dell'incertezza. La trasmissione del simbolo s ha un contenuto infomativo pari a I(s) "bits" (binary units of information, unità di misura dell'informazione).
Supponiamo che la Sorgente produca le informazioni con un lancio di due monete, ciascuna delle quali può produrre, in modo equiprobabile e indipendente, i risultati Testa o Croce. Prima della comunicazione la Destinazione sa che riceverà un messaggio corrispondente a una delle quattro coppie ordinate (Testa, Testa), (Testa, Croce), (Croce, Croce), (Croce, Testa), ciascuna con probabilità 0.25. Detto s il simbolo che corrisponde al risultato del lancio delle due monete, si ha
che significa che il contenuto informativo di ciascun simbolo s ha un contenuto informativo di 2 "bits".
Supponiamo ora che i risultati del lancio delle due monete siano trasmessi con due sotto-messaggi distinti, il primo corrispondente alla prima estrazione, il secondo contenente la coppia (ordinata) di risultati per entrambe le monete. Supponiamo inoltre che il lancio della prima moneta abbia prodotto il risultato Testa e che il corrispondente sotto-messaggio sia già pervenuto correttamente alla Destinazione. L'informazione ricevuta con il primo sotto-messaggio ha ridotto l'incertezza: il secondo sotto-messaggio, per essere compatibile con la conoscenza derivante dal primo, può solo contenere una delle coppie ordinate (Testa, Testa) e (Testa, Croce), ciascuna ora con probabilità 0.5. L'informazione ottenuta dal primo sotto-messaggio ha ridotto del 50% l'incertezza sul secondo.
Il contenuto informativo di ciascun sotto-messaggio è infatti pari a 1 "bit".
La prima definizione di informazione presente su wikipedia ha quindi una giustificazione nella Teoria dell'Informazione ed è concettualmente diversa da quella proposta immediatamente dopo... anche se le due definizioni sono collegate da "In altre parole"!
Quindi due differenti concetti di informazione:
Come si collega questo problema della comunicazione alla definizione di informazione (ciò che [...] supera un'incertezza) vista su wikipedia ? Con la teoria della probabilità...
Se il messaggio emesso dalla Sorgente è un simbolo s selezionato con probabilità p(s) da un insieme predefinito S (detto alfabeto), è possibile caratterizzare il contenuto informativo di s usando un'idea di base molto semplice: più un ricevitore è "sorpreso" (proprio nel senso di sorpresa! - wikipedia) nel vedere il simbolo s, più il suo contenuto informativo sarà alto. Matematicamente il contenuto informativo di s, indicato con I(s) è dato dalla seguente formula - log2 è il logaritmo in base 2
I(s) = - log2 p(s)
In questo senso l'informazione può essere vista come una riduzione dell'incertezza. La trasmissione del simbolo s ha un contenuto infomativo pari a I(s) "bits" (binary units of information, unità di misura dell'informazione).
Supponiamo che la Sorgente produca le informazioni con un lancio di due monete, ciascuna delle quali può produrre, in modo equiprobabile e indipendente, i risultati Testa o Croce. Prima della comunicazione la Destinazione sa che riceverà un messaggio corrispondente a una delle quattro coppie ordinate (Testa, Testa), (Testa, Croce), (Croce, Croce), (Croce, Testa), ciascuna con probabilità 0.25. Detto s il simbolo che corrisponde al risultato del lancio delle due monete, si ha
I(s) = - log2 0.25 = log2 4 = 2
che significa che il contenuto informativo di ciascun simbolo s ha un contenuto informativo di 2 "bits".
Supponiamo ora che i risultati del lancio delle due monete siano trasmessi con due sotto-messaggi distinti, il primo corrispondente alla prima estrazione, il secondo contenente la coppia (ordinata) di risultati per entrambe le monete. Supponiamo inoltre che il lancio della prima moneta abbia prodotto il risultato Testa e che il corrispondente sotto-messaggio sia già pervenuto correttamente alla Destinazione. L'informazione ricevuta con il primo sotto-messaggio ha ridotto l'incertezza: il secondo sotto-messaggio, per essere compatibile con la conoscenza derivante dal primo, può solo contenere una delle coppie ordinate (Testa, Testa) e (Testa, Croce), ciascuna ora con probabilità 0.5. L'informazione ottenuta dal primo sotto-messaggio ha ridotto del 50% l'incertezza sul secondo.
Il contenuto informativo di ciascun sotto-messaggio è infatti pari a 1 "bit".
I(s) = - log2 0.5 = log2 2 = 1
La prima definizione di informazione presente su wikipedia ha quindi una giustificazione nella Teoria dell'Informazione ed è concettualmente diversa da quella proposta immediatamente dopo... anche se le due definizioni sono collegate da "In altre parole"!
Quindi due differenti concetti di informazione:
- informazione come contenuto semantico (significato)
- informazione come riduzione dell'incertezza
Nessun commento:
Posta un commento