Teoria dell'informazione

In Una teoria matematica della comunicazione (wikipedia) - articolo che viene considerato uno dei pilastri fondanti della moderna teoria dell'informazione (wikipedia) - Shannon concettualizza e modella matematicamente il problema della comunicazione attraverso un canale rumoroso.

Il problema consiste nel riprodurre nel modo più preciso possibile in un punto (di Destinazione) un messaggio selezionato in un altro punto (Sorgente).

Problema della trasmissione di informazioni su un canale rumoroso

Come rappresentato nella figura, il messaggio emesso dalla Sorgente è trasformato da un Trasmettitore in un opportuno segnale. Il segnale è inviato tramite un canale (rumoroso) che lo propaga in modo non esatto (aggiungendo rumore) a un Ricevitore. Il Ricevitore trasforma il segnale ricevuto in un messaggio per la Destinazione.

La comunicazione avviene correttamente quando i due messaggi (nella figura a sinistra e a destra del canale di comunicazione) coincidono o sono "sufficentemente simili".

Come si collega questo problema della comunicazione alla definizione di informazione (ciò che [...] supera un'incertezza) vista su wikipedia ? Con la teoria della probabilità...

Se il messaggio emesso dalla Sorgente è un simbolo s selezionato con probabilità p(s) da un insieme predefinito S (detto alfabeto), è possibile caratterizzare il contenuto informativo di s usando un'idea di base molto semplice: più un ricevitore è "sorpreso" (proprio nel senso di sorpresa! - wikipedia) nel vedere il simbolo s, più il suo contenuto informativo sarà alto. Matematicamente il contenuto informativo di s, indicato con I(s) è dato dalla seguente formula - log2 è il logaritmo in base 2

I(s) = - log2 p(s)

In questo senso l'informazione può essere vista come una riduzione dell'incertezza. La trasmissione del simbolo s ha un contenuto infomativo pari a I(s) "bits" (binary units of information, unità di misura dell'informazione).

Supponiamo che la Sorgente produca le informazioni con un lancio di due monete, ciascuna delle quali può produrre, in modo equiprobabile e indipendente, i risultati Testa o Croce. Prima della comunicazione la Destinazione sa che riceverà un messaggio corrispondente a una delle quattro coppie ordinate (Testa, Testa), (Testa, Croce), (Croce, Croce), (Croce, Testa), ciascuna con probabilità 0.25. Detto s il simbolo che corrisponde al risultato del lancio delle due monete, si ha

I(s) = - log2 0.25 = log2 4 = 2

che significa che il contenuto informativo di ciascun simbolo s ha un contenuto informativo di 2 "bits".

Supponiamo ora che i risultati del lancio delle due monete siano trasmessi con due sotto-messaggi distinti, il primo corrispondente alla prima estrazione, il secondo contenente la coppia (ordinata) di risultati per entrambe le monete. Supponiamo inoltre che il lancio della prima moneta abbia prodotto il risultato Testa e che il corrispondente sotto-messaggio sia già pervenuto correttamente alla Destinazione. L'informazione ricevuta con il primo sotto-messaggio ha ridotto l'incertezza: il secondo sotto-messaggio, per essere compatibile con la conoscenza derivante dal primo, può solo contenere una delle coppie ordinate (Testa, Testa) e (Testa, Croce), ciascuna ora con probabilità 0.5. L'informazione ottenuta dal primo sotto-messaggio ha ridotto del 50% l'incertezza sul secondo.

Il contenuto informativo di ciascun sotto-messaggio è infatti pari a 1 "bit".

I(s) = - log2 0.5 = log2 2 = 1

La prima definizione di informazione presente su wikipedia ha quindi una giustificazione nella Teoria dell'Informazione ed è concettualmente diversa da quella proposta immediatamente dopo... anche se le due definizioni sono collegate da "In altre parole"!

Quindi due differenti concetti di informazione:

1. informazione come contenuto semantico (significato)
2. informazione come riduzione dell'incertezza

Sviluppo software: grande risultato!

The most amazing achievement of the computer software industry is its continuing cancellation of the steady and staggering gains made by the computer hardware industry - Henry Petroski

Informazioni, dati e significato

Dagli aspetti generali sui sistemi (che però sono necessari in quanto fissano il contesto di riferimento - sul tema del bilanciamento tra generalismo e specializzazione avremo modo di parlare in prossimi post) cominciamo ora ad addentrarci nelle tematiche più strettamente inerenti all'ICT.

L'informazione è l'elemento essenziale alla base dell'Information and Communication Technology, nonché uno dei pilastri delle economie nelle attuali società dell'informazione (wikipedia). Il nostro approfondimento pertanto non può che partire da questo termine.

La difficoltà di definire in modo preciso e chiaro il significato del termine informazione appare evidente già consultando wikipedia dove troviamo: l'informazione è ciò che, per un osservatore o un recettore posto in una situazione in cui si hanno almeno due occorrenze possibili, supera un'incertezza e risolve un'alternativa, cioè sostituisce il noto all'ignoto, il certo all'incerto.

Un po' troppo astratto per le nostre esigenze! Fortunatamente subito dopo c'è una frase un po' più illuminante: [l'informazione] riguarda il contesto in cui i dati sono raccolti, la loro codifica in forma intelligibile ed in definitiva il significato attribuito a tali dati. Quest'ultima forma è molto vicina alla Definizione Generale dell'Informazione richiamata da Luciano Floridi nei suoi scritti sulla Filosofia dell'Informazione:

l'informazione è un insieme (non vuoto) di dati che siano ben-formati e dotati di significato.

Quindi c'è il riferimento ai dati, alla codifica ("ben-formati") e al "significato" che wikipedia riporta (che sollievo!).

Assumendo che i dati siano sempre ben-formati (ossia opportunamente codificati), possiamo sintetizzare la definizione con:

informazioni = dati + significato

La definizione di dato è molto più semplice rispetto a quella di informazione. Un dato (wikipedia) è una descrizione elementare, spesso codificata, di una cosa, di una transazione, di un avvenimento o di altro.

Sempre facendo riferimento alla Filosofia dell'informazione,

un dato è "assenza di uniformità"

Ad esempio assenza di uniformità tra due stati di un sistema o di un segnale (variazione di tensione in un segnale elettrico o tra punto e linea in un alfabeto Morse) oppure assenza di uniformità di un qualcosa rispetto all'ambiente circostante (un disegno stampato su una superficie è individuabile perché la mancanza di uniformmità con lo sfondo rappesentato dalla superficie) oppure mancanza di uniformità tra due simboli astratti (ad esempio i numeri 0 e 1).

Un dato è tale per la sua "forma", senza che questa venga ulteriormente interpretata.

In effetti i sistemi per il trattamento automatico delle informazioni ignorano il significato, limitandosi a trattare (trasmettere, ricevere, elaborare) solo i relativi i dati tramite manipolazioni puramente simboliche... ma non ancipiamo i contenuti dei prossimi articoli!

La conoscenza...paga!

Molti sostengono che in Italia la conoscenza non paghi, ma non è affatto così. Disponendo di una buona preparazione si riesce a ottenere un reddito importante senza anni di "gavetta".

Prendiamo il caso di Renzo Bossi (wikipedia). Un caso emblematico di come le sole conoscenze, e null'altro, abbiano fatto la differenza.

Bossi junior ha dedicato diversi anni ad approfondire più e più volte le materie da lui studiate e le importanti conoscenze maturate lo hanno portato, a soli 22 anni, a uno stipendio di 12 mila euro mensili e a ricoprire importanti ruoli - anche relatore (ad esempio questo).

Un neolaureato che lavora a Roma nel settore ICT oggi guadagna (se è fortunato da trovare un contratto a progetto) meno di 1200 euro mensili... Ma parliamo di neolaureati... Renzo Bossi non era un neolaureato!!!

Investire in conoscenze, non c'è che dire, ha davvero un ritorno sbalorditivo!

Ha ragione il ministro Elsa Fornero... Genitori, se avete a cuore il benessere dei vostri figli preoccupatevi di lasciare loro le conoscenze in grado di incidere sulla capacità reddituale futura.