Introduzione

I concetti di Entropia e Informazione sono diventati piuttosto popolari in molte questioni che riguardano contesti fisici, biologici e informatici. L’entropia è una quantità che nacque originariamente in contesto termodinamico, ma l’interpretazione in senso statistico delle quantità termodinamiche portò ad una re-interpretazione dell’entropia come di una misura dell’informazione (o della sua mancanza) sullo stato microscopico di un sistema. Il successivo sviluppo di una vera e propria teoria dell’informazione, principalmente ad opera di Shannon, accrebbe ancora di più l’interesse verso questo legame tra entropia e informazione. Oggi la questione appare più che mai attuale, dato che in tutto il mondo viene elaborata continuamente una grandissima quantità di informazione.

Entropia

La variazione di entropia in una trasformazione termodinamica è uguale al calore scambiato nel processo diviso per la temperatura. Il secondo principio della termodinamica afferma che l’entropia di un sistema isolato non può mai diminuire: questo fatto apparentemente innocuo ha in realtà conseguenze importanti sulla irreversibilità di molti processi in natura e sulla impossibilita’ di realizzare il moto perpetuo. La meccanica statistica ha aiutato a comprendere meglio il significato delle variabili termodinamiche in termini della dinamica microscopica di atomi e molecole, e ha anche fornito una interpretazione dell’entropia come una misura del “disordine” del sistema. Più precisamente, l’entropia di un sistema è proporzionale al logaritmo del numero di microstati accessibili al sistema compatibilmente con la sua energia.

Insiemi statistici

La definizione di entropia fornita sopra, che corrisponde a quella formulata da Boltzmann, è associata al cosiddetto insieme microcanonico, in cui sono fissate quasi tutte le variabili del sistema: in particolare, sono fissati il volume V, il numero di particelle N e l’energia E. È possibile estendere lo studio ai casi in cui l’energia non sia fissata ma possa variare, nel qual caso ci troviamo nell’insieme canonico (V e N fissati), la cui teoria è stata sviluppata principalmente da Gibbs; infine possiamo ammettere che anche il numero di particelle possa variare, nel qual caso ci troviamo nell’insieme grancanonico (solo V è fissato). A seconda delle circostanze, si può ricorrere ad una di queste formulazioni per il calcolo delle diverse quantità termodinamiche.

Shannon vs Gibbs

Come accennato sopra, l’entropia può essere interpretata come una misura della nostra mancanza di informazione circa lo stato microscopico del sistema. Assegnando una probabilità ai diversi microstati (stato microscopici) che corrispondono ad un determinato macrostato (stato macroscopico), si ottiene la formula di Shannon per l’entropia di informazione. Nel contesto dell’insieme canonico, esiste una formula per l’entropia dedotta da Gibbs, che coincide con l’entropia di Shannon a meno di una costante, la k di Boltzmann. Facendo uso dell’insieme canonico, si può calcolare per esempio l’entropia di un volume di gas ad una determinata temperatura utilizzando la famosa formula di Sakur-Tetrode. Se consideriamo una mole di He alla temperatura di 300ºK in un volume di 1L, l’entropia è circa S=100 J/K, che corrisponde circa a 10²⁵ bits di informazione, pari a 17 bits per atomo del gas.

Limite di Landauer

In contesto informatico, è molto più semplice ricavare la quantità di informazione di un dato (o di un supporto di memoria), in quanto esso è naturalmente già espresso in bits. Per esempio, un hard-drive di memoria di 1 Gb contiene 10⁹ byte, ovvero 8×10⁹ bits. La scrittura o cancellazione di dati sul disco deve richiedere dell’energia perché varia la quantità di informazione. Landauer predisse nel 1961 che esiste una quantità minima di energia che deve essere dissipata ogni volta che un bit di informazione viene distrutto (“Irreversibility and Heat Generation in the Computing Process”, Rolf Landauer, IBM Journal of Research and Development, 1961). Questo è il principio di Landauer e l’energia minima predetta è KTln2, che è una quantità estremamente piccola, paragonabile all’energia che si suddivide tra I diversi gradi di libertà secondo l’equipartizione dell’energia. In verità viene dissipata molta più energia, a causa dei vari meccanismi fisici coinvolti nel processo.

Verifica sperimentale

Nonostante la previsione teorica di Landauer risalga al 1969, essa fu verificata sperimentalmente solo nel 2012 (“Experimental verification of Landauer’s principle linking information and thermodynamics”, Antoine Berut et al., 2012). L’esperimento consisteva nel far effettuare delle transizioni tra due buche di potenziale ad una singola particella colloidale, che rappresentava un bit di informazione. Il potenziale era generato da impulsi laser, che intrappolavano la particella in una di due posizioni equivalenti. L’esperimento misurò una dissipazione di energia ogni volta che la particella passava da una buca all’altra, che equivaleva alla distruzione di un singolo bit di informazione, e questa energia tendeva al limite di Landauer, senza mai scendere al di sotto di esso.

Modelli più avanzati

Quello trovato da Landauer è il limite inferiore del costo energetico necessario per processare un bit di informazione; come già detto sopra, l’energia effettiva che viene impiegata dai dispositivi che scrivono e cancellano bit di informazione è più grande, e dipende in gran parte dai processi fisici che vengono impiegati. Il calcolo del costo energetico corrispondente a diverse procedure è in genere complicato. Solo considerando I processi logici fondamentali, senza coinvolgere la fisica, ci sono differenze tra le diverse porte logiche: l’uso di una porta AND comporta un fattore log₂3, mentre la porta XOR ha un fattore 1. In verità’ il risultato valido per sistemi microscopici non si applica ai sistemi macroscopici, per I quali l’entropia è una funzione delle variabili di stato. Una formulazione più generale, che coinvolge la meccanica quantistica e il modo in cui I processi logici sono implementati fisicamente, è stata proposta in un articolo successivo (“The minimal cost of information processing”, Philippe Faist et al., Nature Communications, 2015). Questo studio ha prodotto un costo energetico minimo espresso dalla formula KTln2[H(x)-H(x’)], dove H(x)=-tr(ρxlog2ρx), dove ρ è la matrice densità (che descrive lo stato di sistemi quantistici “non-puri”). Questa forma richiama l’espressione dell’entropia di Von Neumann. Questo risultato ambiva a colmare il gap tra la descrizione microscopica e la descrizione macroscopica del concetto di entropia. Per ulteriori informazioni sulla relazione tra entropia e informazione: “Entropy, information and computation”, Jon Machta, American Journal of Physics, 1999.

Auto-replicazione

Esiste anche un altro argomento legato alla questione dell’entropia, ma che riguarda questa volta l’energia minima necessaria per l’auto-replicazione di un sistema fisico. Questo studio è stato proposto da Jeremy L. England in “Statistical physics of self-replication”, The Journal of chemical physics, 2013. Il lavoro riguarda principalmente la replicazione di sistemi fisici all’equilibrio con un bagno termico (un sistema con capacità termica assoluta, quindi con temperatura assegnata), ma ambisce a dedurre addirittura le condizioni per la replicazione di sistemi viventi, quindi ha a che fare con questioni fondamentali riguardanti la vita. L’articolo ha suscitato un certo interesse in quanto basa I suoi risultati su considerazioni di tipo statistico/termodinamico, che sono notoriamente molto solide e di carattere molto generale.

Microscopico vs macroscopico

I risultati dedotti nell’articolo fanno riferimento al sistema canonico, in quanto abbiamo a che fare con un sistema che ha volume V e numero di particelle N fissati, mentre l’energia E può variare. Siamo nel contesto Hamiltoniano, per cui I processi elementari si assumono perfettamente reversibili: poiché le considerazioni fatte saranno relative a sistemi macroscopici, bisogna introdurre un’operazione di media statistica, che porti a determinare quali processi siano effettivamente reversibili. Questo non dovrebbe sorprenderci, in quanto siamo consapevoli che, nonostante le leggi della fisica fondamentale siano simmetriche per inversione temporale, nella realtà quotidiana osserviamo dei processi che non sono reversibili. Questo e’ alla base del secondo principio della termodinamica, che in qualche modo fissa la direzione del tempo, ovvero la direzione verso cui l’entropia dell’universo aumenta.

Irreversibilità

Introducendo delle probabilità condizionate per la transizione del sistema da uno stato a ad un altro b, e usando l’ipotesi che I processi elementari siano reversibili, l’autore ricava una espressione per il rapporto tra la probabilità della transizione inversa rispetto a quella diretta (P(b→a)/P(a→b)). Questo rapporto risulta uguale all’esponenziale di -ΔS_a→b, che costituisce la variazione di entropia del bagno termico in seguito al processo diretto. Questo significa che la probabilità della transizione inversa è tanto più piccola quanto maggiore è la variazione di entropia del bagno termico. Detta in altro modo, un processo è tanto più probabile rispetto al suo inverso quanto maggiore è la quantità di calore ΔQ che viene dissipata nel bagno termico, dal momento che possiamo esprimere la variazione di entropia come ΔS=ΔQ/T.

Replicatori

Il risultato ottenuto per sistemi all’equilibrio termodinamico può essere generalizzato a sistemi fuori dall’equilibrio. Questo porta ad una generalizzazione del secondo principio della termodinamica, che si può enunciare come: “in media, la somma della variazione di entropia del sistema e la variazione di entropia del bagno termico è sempre maggiore o uguale a zero”. In seguito si applicano queste considerazioni allo studio dell’evoluzione del numero di un insieme di sistemi elementari capaci di auto-replicazione, detti “self-replicator”. Si valuta in particolare la cosiddetta “fitness” del replicatore, che è legata alla sua efficienza nello sfruttare le fonti energetiche nell’ambiente per attuare la propria replicazione. Un’altra strategia che il replicatore può attuare consiste nel minimizzare il proprio costo energetico: questo si traduce nel fatto che esso deve essere il più semplice e meno duraturo possibile.

Sistemi biologici

L’autore quindi considera le applicazioni a diversi sistemi biologici semplici. La prima consiste nella replicazione di polinucleotidi da parte del DNA o del RNA, e si valuta quale dei due meccanismi è il più efficiente. Un’altra applicazione è alla replicazione del batterio escherichia coli, che risulta essere un organismo che possiede un’alta efficienza di replicazione (richiede un costo energetico appena superiore a quello minimo stimato). In questo secondo esempio le considerazioni sono complicate dal fatto che nella replicazione di un batterio sono coinvolti numerosi processi fisici e chimici, e bisogna quindi valutare quali di essi favoriscono la replicazione e quali invece la sfavoriscono. Con questo l’autore non aveva la pretesa di spiegare tutti I sistemi viventi da un punto di vista puramente termodinamico, ma questi risultati se non altro forniscono uno strumento in più per comprendere tali argomenti così complessi.