Entropia

Nella Data Science, l'entropia è una misura dell'incertezza o dell'impurità in un set di dati.

Più specificamente, quantifica quanto siano mescolati o distribuiti i valori di una variabile. Un'entropia alta indica che i valori sono distribuiti in modo uniforme e sono quindi più imprevedibili, mentre un'entropia bassa suggerisce che un valore specifico predomina, rendendo il set più prevedibile.

È un concetto fondamentale in algoritmi come gli alberi decisionali (Decision Trees) e le foreste casuali (Random Forests), dove viene utilizzata per selezionare le migliori divisioni dei dati al fine di massimizzare il guadagno di informazione e costruire modelli più accurati.