\documentclass[12pt]{article}

\usepackage{ngerman,a4}
\usepackage{amstext}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{stmaryrd}
\usepackage{enumerate}
\usepackage{alltt}
\usepackage[latin1]{inputenc}
%\usepackage{graphicx}

\thispagestyle{empty}

\title{}
\author{}
\date{}

\begin{document}

\newcommand{\AND}{\ensuremath{\wedge}}
\newcommand{\OR}{\ensuremath{\vee}}
\newcommand{\SetR}{\ensuremath{\mathbb{R}}}
\newcommand{\SetN}{\ensuremath{\mathbb{N}}}
\newcommand{\SetZ}{\ensuremath{\mathbb{Z}}}
\newcommand{\SetQ}{\ensuremath{\mathbb{Q}}}
\newcommand{\SetB}{\ensuremath{\mathbb{B}}}
\newcommand{\QED}{\ensuremath{\hspace*{\fill}\square}}
\newcommand{\FLASH}{\ensuremath{\hspace*{\fill}\lightning}}
\newcommand{\OnotO}{\ensuremath{\mathcal{O}}}
\newcommand{\bild}[4]{
	\begin{figure}[htpb]
		\centering
			\includegraphics[width=#1cm]{../#2}\\[0.2cm]
			\caption{#3}
			\label{#4}
	\end{figure}
	}

\noindent §69: MULTIVARIABLE VERTEILUNGEN UND SUMMEN VON ZUFALLSVARIABLEN \\[0.8cm]
69.1 Motivation \\
Manchmal möchte man das Zusammenwirken mehrerer Zufallsvariablen $X_1, ..., X_n$ studieren. Gibt es in diesem \glqq multivariablen\grqq\ Fall Aussagen über die gemeinsame Verteilung? Lassen sich Aussagen über die Verteilung der Summe von Zufallsvariablen treffen? \\[0.5cm]
69.2 Wichtige Definitionen \\
Mehrere Zufallsvariablen $X_1,...,X_n$ lassen sich in einem Vektor zusammenfassen $X=(X_1,...,X_n)^T$ zusammenfassen. Im koninuierlichen Fall ist die resultierende Dichte eine Funktion mehrerer Variablen. Für diese gemeinsame Dichte gilt:
$$f(x_1,...,x_n) \ge 0 \quad \forall x_1,...,x_n \in \SetR$$
$$\int_{\SetR^n}f(x_1,...,x_n) dx_1 \cdot ... \cdot dx_n = 1$$
$$P(a_1 \le X_1 \le b_1, a_2 \le X_2 \le b_2,...,a_n \le X_n \le b_n) = \int_{a_n}^{b_n} ... \int_{a_1}^{b_1} f(x_1,...,x_n) dx_1 \cdot ... \cdot dx_n$$
Statt des Erwartungswerts betrachtet man den Erwartungsvektor
$$\mu = \left(\begin{array}{c}E(X_1) \\ \vdots \\ E(X_n)\end{array}\right)$$
und fasst Varianzen und Kovarianzen zusammen zur Kovarianzmatrix
$$\Sigma = \left(\begin{array}{cccc}var(X_1) & cov(X_1,X_2) & \cdots & cov(X_1,X_n) \\ cov(X_2,X_1) & var(X_2) & \cdots & cov(X_2,X_n) \\ \vdots & & \ddots & \\ cov(X_n,X_1) & & & var(X_n)\end{array}\right)$$
Sie ist symmetrisch und positiv definit. \\
Die wichtigste multivariable Verteilung ist die multivariable Normalverteilung ($N_n(\mu, \Sigma)$-Verteilung). Ist $X=(X_1,...,X_n)^T$ ein Vektor von normalverteilten Zufallsvariablen mit Erwartungswertvektor $\mu = (E(X_1),...,E(X_n))^T$ und Kovarianzmatrix $\Sigma$, dann besitzt die multivariable Normalverteilung die Dichte
$$f(x) = \frac{1}{(2\pi)^{\frac{n}{2}} (\det \Sigma)^\frac{1}{2}} e^{-\frac{1}{2} (x-\mu)^T \Sigma^{-1} (x-\mu)} \quad (x \in \SetR^n)$$
Sie spielt beispielsweise iene große Rolle im Bereich des maschinellen Lernens. \\[0.5cm]
69.3 Beispiel: \\
Eine Apfelbaumplantage mit gleich alten Bäumen werde durch 3 Zufallsvariablen charakterisitert: \\
$X_1$: Höhe eines Baumes $[m]$ $N(4,1)$-verteilt \\
$X_2$: Ertrag eines Baumes $[1 \text{ kg}]$ $N(20,100)$-verteilt \\
$X_3$: Zahl der Blätter $[1000 \text{ Stück}]$ $N(20,225)$-verteilt \\
Diese Zufallsvariablen seien korreliert mit
\begin{eqnarray*}
	Cov(X_1,X_2) & = & 9 \\
	Cov(X_1,X_3) & = & 12.75 \\
	Cov(X_2,X_3) & = & 120
\end{eqnarray*}
Dann liegt eine $N_3(\mu, \Sigma)$-Verteilung vor mit
$$\mu = \left(\begin{array}{c}4 \\ 20 \\ 20\end{array}\right), \quad \quad \Sigma = \left(\begin{array}{ccc}1 & 9 & 12.75 \\ 9 & 100 & 120 \\ 12.75 & 120 & 225\end{array}\right)$$
Kann man unter geeigneten Voraussetzungen die gemeinsame Dichte $f(x_1,...,x_n)$ aus den einzelnen Dichten $f_1(x_1),...,f_n(x_n)$ berechnen? Mann kann zeigen: \\[0.5cm]
69.4 Satz: (Gemeinsame Dichte von unabhängigen Zufallsvariablen) \\
Seien $X_1,...,X_n$ unabhängige (!) Zufallsvariablen mit Dichten $f_1(x_1),..., f_n(x_n)$. Dann hat $X=(X_1,...,X_n)^T$ die gemeinsame Dichte
$$f(x_1,...,x_n) = f_1(x_1) \cdot ... \cdot f_n(x_n) \quad \quad \quad (*)$$
Hat umgekehrt $X=(X_1,...,X_n)^T$ eine gemeinsame Dichte mit Produktdarstellung $(*)$, so sind $X_1,...,X_n$ unabhängig. \\[0.5cm]
69.5 Beispiel \\
Zwei unabhängige Zufallsvariablen $X_1,X_2$ seien $N(\mu_1,\sigma_1^2)$- bzw. $N(\mu_2, \sigma_2^2)$-verteilt. Da Unabhängigkeit nach 65.22(e) Unkorreliertheit impliziert, hat die Kovarianzmatrix Diagonalgestalt:
$$\Sigma = \left(\begin{array}{cc}\sigma_1^2 & 0 \\ 0 & \sigma_2^2\end{array}\right)$$
Mit $$\Sigma^{-1} = \left(\begin{array}{cc}\frac{1}{\sigma_1^2} & 0 \\ 0 & \frac{1}{\sigma_2^2}\end{array}\right)$$ und $$\det \Sigma = \sigma_1^2 \sigma_2^2$$ liegt eine multivariable Normalverteilung für $X=(X_1,X_2)^T$ vor mit Dichte
\begin{eqnarray*}
f(x_1,x_2) & = & \frac{1}{2\pi \sqrt{\sigma_1^2 \sigma_2^2}} e^{-\frac{1}{2}\left[(x_1-\mu_1)^2\frac{1}{\sigma_1^2} + (x_2-\mu_2)^2 \cdot \frac{1}{\sigma_2^2}\right]} \quad \quad \text{(vgl. 69.2)} \\
& = & \frac{1}{\sqrt{2\pi}\sigma_1} e^{-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}} \cdot \frac{1}{\sqrt{2\pi}\sigma_2}e^{-\frac{(x_2-\mu_2)^2}{2\sigma_2^2}}
\end{eqnarray*}
Dies ist gerade das Produkt der zwei Einzeldichten $f_1(x_1) und f_2(x_2)$. \\
Gibt es Aussagen über die Dichte, wenn man die Summe zweier Zufallsvariablen betrachtet? Hierzu benötigen wir \\[0.5cm]
69.6 Def.: \\
Falls für die Funktionen $f,g: \SetR \to \SetR$ das Integral
$$(f \ast g)(x) := \int_{-\infty}^\infty f(x-y) g(y) dy$$
existiert, so nennen wir $f \ast g$ die Faltung von $f$ und $g$ (engl.: convolution). \\[0.5cm]
69.7 Satz: (Summe unabhängiger kontinuierlicher Zufallsvariablen) \\
Seien $X_1,X_2$ unabhängige kontinuierliche Zufallsvariablen mit Dichten $f_1, f_2$. Dann hat $X_1+X_2$ die Dichte $f_1 \ast f_2$. \\
Beweis: \\
Mit $B:=\{(x_1,x_2) | x_1+x_2 \le s\}$ ergibt sich für die Verteilung von $X_1+X_2$:
$$P(X_1+X_2 \le s) = \int \int_B \underbrace{f_1(x_1) \cdot f_2(x_2)}_{\text{Unabhängigkeit}} dx_1dx_2$$
Mit der Substitution $u:=x_1+x_2$ folgt:
$$P(X_1+X_2 \le s) = \int_{-\infty}^s \left( \underbrace{\int_{-\infty}^\infty f_1(u-x_2) f_2(x_2)dx_2}_{(f_1 \ast f_2)(u)}\right) du \QED$$
Hiermit lässt sich beweisen: \\[0.5cm]
69.8 Satz: (Summe unabhängiger normalverteilter Zufallsvariablen) \\
Seien $X_1,X_2$ unabhängige kontinuierliche Zufallsvariablen mit $N(\mu_1,\sigma_1^2)$- bzw. $N(\mu_2,\sigma_2^2)$-Verteilung. Dann ist $X=X_1+X_2$ $N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$-verteilt. \\
Auch im Fall diskreter Zufallsvariablen gibt es vergleichbare Aussagen zu 69.6 bis 69.8: \\[0.5cm]
69.9 Def.: \\
Für $f=(f_i)_{i \in \SetZ}, g=(g_i)_{i \in \SetZ}$ definiert man die diskrete Faltung von $f$ und $g$ durch
$$(f \ast g)_i := \sum_{j \in \SetZ}f_{i-j} g_j$$ \\[0.5cm]
69.10 Satz: (Suumme unabhängiger diskreter Zufallsvariablen) \\
Seien $X_1,X_2$ unabhängige diskrete Zufallsvariablen mit Verteilungen $P_{X_1}, P_{X_2}$. Dann $X_1+X_2$ die Verteilung $P_{X_1} \ast P_{X_2}$, wobei $\ast$ die diskrete Faltung bezeichnet. \\[0.5cm]
69.11 Satz: (Summe unabhängiger Poisson-verteilter Zufallsvariablen) \\
Seien $X_1,X_2$ unabhängige diskrete Zufallsvariablen, die einer Poisson-Verteilung mit Parameter $\lambda_1$ bzw. $\lambda_2$ genügen (kurz: $P(\lambda_1)$-, $P(\lambda_2)$-verteilt). Dann ist $X_1+X_2$ $p(\lambda_1+\lambda_2)$-verteilt.


\end{document}
