Maximum-Likelihood-Methode
Herleitung der Likelihood-Funktion
für eine Normalverteilung als Beispiel
Ausgangssituation
Zufallsgröße $X$, Realisierungen $x_1, x_2, \ldots, x_n$, normalverteilt mit Erwartungswert $\mu$ und Varianz $\sigma^2$: $X \sim \mathcal{N}(\mu, \sigma^2)$, keine Zensierung der Daten
- Verteilung $f(x)$ der Wahrscheinlichkeitsdichte einer Normalverteilung (bekannt): \[ f(x,\mu,\sigma^2) = \frac{1}{\sigma \sqrt{2 \pi}} \cdot \exp \left( \frac{-(x-\mu)^2}{2 \sigma^2} \right) \]
- Ansatz für Likelihood-Funktion $\mathcal{L}$ bezüglich Dichteverteilung $f(x)$: \[ \mathcal{L}(\vec{x}\,|\vartheta) = \prod\limits_{i=1}^n \left( f(x_i, \mu, \sigma^2) \right) \]
- Parametermenge $\vartheta$ enthält die beiden zu bestimmenden Parameter der Normalverteilung: $\vartheta = \{\mu, \sigma^2 \}$
- einsetzen, umformen: \[ \begin{align} \mathcal{L}(\vec{x}\,|\vartheta) &= \prod\limits_{i=1}^n \left( \frac{1}{\sigma \sqrt{2 \pi}} \cdot \exp \left( \frac{-(x_i-\mu)^2}{2 \sigma^2} \right) \right) \\ &= \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)^n \cdot \prod\limits_{i=1}^n \exp \left( \frac{-(x_i-\mu)^2}{2 \sigma^2} \right) \end{align} \]
Potenzgesetz
\[ \mathrm{e}^{\cfrac{x_1}{z}} \cdot \mathrm{e}^{\cfrac{x_2}{z}} \equiv \mathrm{e}^{\cfrac{x_1+x_2}{z}} \equiv \mathrm{e}^{\cfrac{\sum x_i}{z}} \]
- weiter umformen: \[ \begin{align} \mathcal{L}(\vec{x}\,|\vartheta) &= \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)^n \cdot \exp \left( \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (-(x_i-\mu)^2) \right) \\ &= \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)^n \cdot \exp \left( - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \right) \end{align} \]
- Gleichung durch Bildung der Log-Likelihood-Funktion $\ln (\mathcal{L})$ vereinfachen \[ \begin{align} \ln (\mathcal{L}) &= \ln \left[ \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)^n {\color{red} \cdot} \exp \left( - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \right) \right] \\ &= \color{red}{\ln \left[ \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)^n \right]} + \color{red}{\ln \left[ \exp \left( - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \right) \right]} \\ &= n \cdot \color{red}{\ln \left( \frac{1}{\sigma \sqrt{2 \pi}} \right)} - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \\ &= \overbrace{n \ln(1)}^{\color{red}{ = 0}} - n \color{red}{ \ln(\sigma \sqrt{2 \pi})} - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \\ &= -n \ln(\sigma) - n \ln(\sqrt{2 \pi}) - \frac{1}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu)^2 \\ \end{align} \]
- Schätzer $\hat{\mu}$ für Erwartungswert $\mu$ ermitteln:
Log-Likelihood-Funktion nach $\mu$ maximieren: partielle Ableitung nach $\mu$ bilden und Nullsetzen; nach $\mu$ umstellen \[ \begin{align} \frac{\partial\ln(\mathcal{L})}{\partial \mu} = \frac{2}{2 \sigma^2} \sum\limits_{i=1}^n (x_i-\mu) \qquad \xrightarrow{\mu \to \text{max!}} \qquad 0 &= \sum\limits_{i=1}^n (x_i-\mu) \\ n \mu &= \sum\limits_{i=1}^n x_i \\ \hat{\mu} &= \frac{1}{n} \sum\limits_{i=1}^n x_i = \bar{x} \end{align} \] - Et voilà! Wir haben mit $\hat{\mu} = \bar{x}$ den erwartungstreuen Schätzer für $\mu$ hergeleitet. Dies entspricht unserem Vorwissen der Normalverteilung.
- Analog kann der Schätzer für $\sigma^2$ hergeleitet werden (der im Übrigen nur asymptotisch erwartungstreu ist).