Az entrópia egy mérőszám, amely a rendezetlenség vagy a bizonytalanság mértékét fejezi ki egy rendszerben. Az entrópia fogalma elsősorban a termodinamikából származik, de a statisztikai fizikában, az információelméletben és más tudományterületeken is alkalmazzák.
Az entrópia több különböző módon is értelmezhető:
- Termodinamikai entrópia: A klasszikus fizika szerint az entrópia szintetizálja a hő és energia átalakulásainak hatékonyságát egy rendszerben. Magasabb entrópia magasabb rendezetlenséget jelent, például egy égő fatörzs, ahol a fa rendezett energiaformájából füst és hő keletkezik.
- Statisztikai entrópia: Az entrópia a részecskék valószínűségeloszlásának mértéke. Például a gáz molekulái egy dobozban egyenletesen, szimmetrikusan elosztva rendezettebb rendszert jeleznek, míg a teljesen összeütközik kaotikus rendezetlenséget.
- Információs entrópia: Az információelméletben az entrópia az információ mennyiségének mérésére szolgál egy adott adathalmazban. Például egy bináris adathalmaz, ahol minden bit ugyanabban az állapotban van, alacsony entrópiájú, míg ha minden bit véletlenszerűen változik, magas entrópiát jelent.
Az entrópia tehát különböző területeken különféle aspektusait mutatja be ugyanannak a központi fogalomnak: a rendezetlenség, a lehetőségek száma és a bizonytalanság.
