Elementi di probabilità

In questa sezione sono riportati alcune relazioni di probabilità utili poi nella sezione successiva.

Definiamo la funzione di densità di probabilità (probability density function, PDF) come

$$p_X (x) = P(X = x)$$ (2.80)

per poter fare i passaggi dal caso discreto al caso continuo.

Il teorema di Bayes (o formula di Bayes) è una relazione che si ottiene unendo il teorema della probabilità composta con il teorema della probabilità assoluta.

Partendo dalla definizione di probabilità condizionata $P(A,B)=P(A\vert B)P(B)$ (multiplication rule) si ottiene:

$$P(A\vert B) = \frac{P(A,B)}{P(B)}$$ (2.81)

e il viceversa

$$P(B\vert A) = \frac{P(B,A)}{P(A)}$$ (2.82)

con la considerazione che $P(A,B)=P(B,A)$ si ottiene

$$P(A\vert B) = \frac{P(B\vert A)P(A)}{P(B)}$$ (2.83)

Si può applicare lo stesso ragionamento nel caso di tre variabili:

$$P(A,B,C) = P(A\vert B,C)P(B,C)=P(B\vert A,C)P(A,C)=P(B,A,C)$$ (2.84)

si ottiene la formula di Bayes

$$P(A\vert B,C) = \frac{P(B\vert A,C)P(A\vert C)}{P(B\vert C)}$$ (2.85)

dove si vede come si propaga la dipendenza da una terza variabile $C$.

Un'altra formula importante che verrà usata nella prossima sezione è il teorema della probabilità assoluta (law of total probability):

$$P(B)=\sum P(A_i, B) = \sum P(A_i) P(B\vert A_i)$$ (2.86)

o nel caso continuo

$$p_X(x)=\int p_{X,Y}(X=x,Y=y) dy=\int p(x\vert Y=y) p(y) dy$$ (2.87)

densità marginale di $\mathbf{X}$.