\documentclass[12pt]{article}

\usepackage{ngerman,a4}
\usepackage{amstext}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{stmaryrd}
\usepackage{enumerate}
\usepackage{alltt}
\usepackage[latin1]{inputenc}
%\usepackage{graphicx}

\thispagestyle{empty}

\title{}
\author{}
\date{}

\begin{document}

\newcommand{\AND}{\ensuremath{\wedge}}
\newcommand{\OR}{\ensuremath{\vee}}
\newcommand{\SetR}{\ensuremath{\mathbb{R}}}
\newcommand{\SetN}{\ensuremath{\mathbb{N}}}
\newcommand{\SetZ}{\ensuremath{\mathbb{Z}}}
\newcommand{\SetQ}{\ensuremath{\mathbb{Q}}}
\newcommand{\SetB}{\ensuremath{\mathbb{B}}}
\newcommand{\QED}{\ensuremath{\hspace*{\fill}\square}}
\newcommand{\FLASH}{\ensuremath{\hspace*{\fill}\lightning}}
\newcommand{\OnotO}{\ensuremath{\mathcal{O}}}
\newcommand{\bild}[4]{
	\begin{figure}[htpb]
		\centering
			\includegraphics[width=#1cm]{../#2}\\[0.2cm]
			\caption{#3}
			\label{#4}
	\end{figure}
	}

\noindent 65.14 Satz: (Eigenschaften der Varianz) \\
Sei $X$ eine Zufallsvariable und seien $\alpha, \beta \in \SetR$. Dann gilt:
\begin{enumerate}[(i)]
	\item $V(\alpha X) = \alpha^2 V(X)$
	\item $V(X + \beta) = V(X)$
\end{enumerate}
Beweis:
\begin{enumerate}[(i)]
	\item $V(\alpha X) \stackrel{65.8}{=} E((\alpha X - \alpha \mu)^2) = E(\alpha^2 (X-\mu)^2) \stackrel{65.8}{=} \alpha^2 V(X)$
	\item $V(X + \beta) = E((X + \beta - \mu - \beta)^2) = E((X-\mu)^2) = V(X)$
\end{enumerate}
65.15 Standardisierte Zufallsvariablen \\
Ist $X$ eine Zufallsvariable mit Erwartungswert $\mu$ und Varianz $\sigma^2$ nennt man
$$X^* := \frac{X-\mu}{\sigma}$$
die Standardisierte von $X$. Es gilt:
\begin{eqnarray*}
	E(X^*) & = & \frac{1}{\sigma} \underbrace{E(X)}_{\mu} - \frac{\mu}{\sigma} = 0 \\
	V(X^*) & \stackrel{65.14}{=} & \frac{1}{\sigma^2} \underbrace{V(X)}_{\sigma^2} = 1
\end{eqnarray*}
Eine solche Standardisierung ist nützlich, wenn man die Verteilung einer Zufallsvariablen mit einer tabellierten Verteilung vergleichen möchte, die meist nur in standardisierter Form vorliegt. \\
Wir wollen nun weitere wichtige Eigenschaften des Erwartungswerts studieren. Aus dem Verschiebungssatz 65.12 folgt wegen $\sigma^2 \ge 0$:
$$E(X^2) - (\underbrace{E(X)}_\mu)^2 \ge 0 \quad \text{d.h. } E(X^2) \ge (E(X))^2$$
Dies ist der Spezialfall eines allgemeineren Resultats: \\[0.5cm]
65.16 Satz: (Ungleichung von Jensen) \\
Sei $r: \SetR \to \SetR$ eine konvexe (!) Funktion und $X$ eine Zufallsvariable. Dann gilt:
$$E(r(X)) \ge r (E(X))$$
Beweis: \\
Sei $X$ zunächst eine diskrete Zufallsvariable. Wegen $P(\omega) \ge 0$ und $\displaystyle \sum_{\omega \in \Omega} P(\omega) = 1$ können wir
$\displaystyle E(X) = \sum_{\omega \in \Omega} P(\omega) X(\omega)$ als Konvexkombination der $X(\omega)$, $\omega \in \Omega$ auffassen. Aus der Konvexität
von $r$ folgt mit 25.5:
$$E(r(X)) = \sum_{\omega \in \Omega} P(\omega) r (X(\omega)) \ge r \left( \sum_{\omega \in \Omega} P(\omega) X(\omega)\right) = r(E(X))$$
Ist $X$ eine kontinuierliche Zufallsvariable, ersetzt man Summen durch Integrale. \QED \\[0.5cm]
65.17 Beispiele:
\begin{enumerate}[(a)]
	\item Die Funktion $r(t) = t^2$, da $r''(t) = 2 > 0$. Daher gilt:
		$$E(X^2) \ge (E(X))^2$$
	\item Sei $\Theta > 0$. Dann ist $r(t) = e^{\Theta t}$ konvex und es gilt:
		$$E(e^{\Theta X}) \ge e^{\Theta E(X)}$$
		Die Funktion $E(e^{\Theta X})$ wird später eine wichtige Rolle spielen.
\end{enumerate}
65.18 Gleichung von Wald \\
Seien $X_1, X_2,...$ unabhängige Zufallsvariablen. Manchmal interessiert man sich für die erste Zeit (Stoppzeit) $N=n$, in der die Summe $\displaystyle S_N = \sum_{i=1}^n X_i$ einen vorgegebenen Wert $y$ übersteigt, d.h.
$$\sum_{i=1}^{n-1} X_i \le y \quad \text{und} \quad \sum_{i=1}^n X_i > y$$
Dann ist $N$ selbst eine Zufallsvariable. Für ihren Erwartungswert kann man zeigen: \\[0.5cm]
Satz: (Gleichung von Wald) \\
Seien $X_1, X_2, ...$ unabhängige, gleichverteilte Zufallsvariablen (d.h. $P(\omega)$ ist gleich $\forall \omega \in \Omega$) mit endlichem Erwartungswert und sei $N$ eine Stoppzeit für $X_1, X_2,...$ \\
Ferner sei $\displaystyle S_N = \sum_{i=1}^n X_i$. Dann gilt:
$$E(S_N) = E(X) \cdot E(N)$$
65.19 Beispiel: \\
Sei $X_i = 1$, falls beim $i$-ten Münzwurf Kopf eintritt, 0 sonst. Wie ist der Erwartungswert für die Stoppzeit
$$N:= \min\{n | X_1 + ... + X_n \ge 10\} \text{?}$$
Es gilt:
$$E(X) = \frac{1}{2} \text{ und } E(S_N) = 10 \Rightarrow E(N) = 20$$
Eng verwandt mit dem Begriff der Varianz ist die Kovarianz. Sie ist ein Maß für die Unabhängigkeit zweier Zufallsvariablen. \\[0.5cm]
65.20 Def.: \\
Seien $X,Y$ Zufallsvariablen mit Erwartungswert $\mu_X, \mu_Y$ und Varianz $\sigma_x^2, \sigma_y^2$. Dann heißt
$$Cov(X,Y) := \sigma_{xy}^2 := E((X-\mu_X)(Y-\mu_Y))$$
die Kovarianz von $X$ und $Y$ und
$$\rho_{XY} := \frac{Cov(X,Y)}{\sigma x \sigma y}$$
der Korrelationskoeffizient von $X$ und $Y$. \\
Ist $Cov(X,Y) = 0$, so heißen $X$ und $Y$ unkorreliert: \\[0.5cm]
65.21 Bemerkungen:
\begin{enumerate}[(a)]
	\item $V(X) = Cov(X,X)$
	\item Seien $X - \mu_X, Y-\mu_Y$ Funktionen auf einem endlichen Stickprobenraum $\Omega = \{\omega_1,...,\omega_n\}$. Dann kann man sie als Vektoren im $\SetR^n$ mit der $i$-ten Komponente $X(\omega_i) - \mu_X, Y(\omega_i) - \mu_Y$ ansehen. Legt man das gewichtete Skalarprodukt $\displaystyle \langle u,v \rangle := \sum_{i=1}^n p_i u_i v_i$ mit $p_i := P(\omega_i)$ zu Grunde, gelten folgende Entsprechungen (vgl. §41, §43):
	\begin{itemize}
		\item Standardabweichung $\widehat{=}$ induzierte Norm
		\item Varianz $\widehat{=}$ quadrierte Norm
		\item Kovarianz $\widehat{=}$ Skalarprodukt
		\item Korrelationskoeffizient $\widehat{=}$ $\cos$ des Winkels zwischen den Vektoren ($\Rightarrow -1 \le \rho_{xy} \le 1$)
		\item Unkorreliertheit $\widehat{=}$ Orthogonalität.
	\end{itemize}
\end{enumerate}
Man kann folgende Regeln zeigen: \\[0.5cm]
65.22 Satz: (Rechenregeln für die Korrelation) \\
Seien $X,Y$ Zufallsvariablen mit Erwartungswert $\mu_X, \mu_Y$. Dann gilt:
\begin{enumerate}[(a)]
	\item $Cov(X,Y) = E(X \cdot Y) - \mu_X \mu_Y$ (vgl. 65.12)
	\item $Cov(\alpha X + \beta, \gamma Y + \delta) = \alpha \gamma Cov(X,Y)$ (vgl. 65.14)
	\item $Cov(X,Y) = Cov(Y,X)$
	\item Für $m$ Zufallsvariablen $X_1, ..., X_m$ gilt:
		$$V(X_1 + ... + X_m) = \sum_{i=1}^m V(X_i) + \sum_{i \ne j} Cov(X_i, X_j)$$
	\item Sind $X,Y$ unabhängig, so sind sie auch unkorreliert.
	\item Für unabhängige $X_1,...,X_m$ gilt:
		$$V\left(\sum_{i=1}^m X_i\right) = \sum_{i=1}^m V(X_i)$$
\end{enumerate}
65.23 Bemerkungen
\begin{enumerate}[(a)]
	\item Die Umkehrung von 65.22 (e) gilt nicht! Beispiel:
		\begin{center}
		\begin{tabular}{c|c|c|c|c}
			Ergebnis $\omega$ & 1 & 2 & 3 & 4 \\ \hline
			Zufallsvar. $X$ & 1 & -1 & 2 & -2 \\ \hline
			Zufallsvar. $Y$ & -1 & 1 & 2 & -2 \\ \hline
			WS $P(\omega)$ & $\frac{2}{5}$ & $\frac{2}{5}$ & $\frac{1}{10}$ & $\frac{1}{10}$
		\end{tabular}
		\end{center}
		Dann gilt:
		$$E(X) = 0 = E(Y)$$
		$$Cov(X,Y) = -1 \cdot \frac{2}{5} - 1 \cdot \frac{2}{5} + 4 \cdot \frac{1}{10} + 4 \cdot \frac{1}{10} = 0$$
		Aber: $X$ und $Y$ sind nicht unabhängig, denn $X(\omega)$ bestimmt $\omega$ und $Y(\omega)$ eindeutig.
	\item In der Informatik tauchen Erwartungswerte und Varianzen z.B. bei der Zuverlässigkeitsanalyse von Systemen auf oder bei der Abschätzung der Wartezeiten bei Internetanfragen. \\
		Kovarianzen sind z.B. wichtig im Bereich des maschinellen Lernens.
\end{enumerate}
65.24 Zuverlässigkeitsanalyse von Systemen \\
Ein System bestehe aus $n$ Komponenten. Der Zustand der $k$-ten Komponente wird durch die Zufallsvariable (Indikator)
$$I_k := \left\{ \begin{array}{cl}1 & (k\text{-te Komponente funktioniert}) \\ 0 & (k\text{-te Komponente funktioniert nicht})\end{array}\right.$$
beschrieben. Ihr Erwartungswert beschreibt die Zuverlässigkeit der Komponente $k$. Wir setzen: $p_k = E(I_k)$ und bezeichnen mit $q_k = 1-p_k$ die Ausfallwahrscheinlichkeit. Für die Zuverlässigkeit $p$ des Gesamtsystems gilt dann:
\begin{enumerate}[(a)]
	\item Reihensysteme \\
		Ein Reihensysteme arbeitet, wenn alle Komponente arbeiten:
		$$p=p_1 \cdot p_2 \cdot ... \cdot p_n$$
	\item Parallelsystem \\
		Ein Parallelsystem fällt aus, wenn alle Komponenten ausfallen:
		$$q = q_1 \cdot q_2 \cdot ... \cdot q_n$$
		$$\Rightarrow p = 1-q = 1-(1-p_1) \cdot ... \cdot (1-p_n)$$
	\item Gemischte Systeme \\
		Gemischte Systeme werden hierarchisch in Reiehnsysteme und Parallelsysteme zerlegt: \\
		oberes Reihensystem: $p_1 \cdot p_2$ \\
		unteres Reihensystem: $p_3 \cdot p_4$ \\
		paralleles Gesamtsystem: $p=1-(1-p_1p_2)(1-p_3p_4)$
\end{enumerate}

\end{document}
