10.a) Valoszinusegszamitas

Valoszinusegi mezo

Def.: A $(\Omega ,\mathcal{A},\mathbb{P})$ harmas Kolmogorov-fele valoszinusegi mezo, ha:

• $\Omega$ nemures halmaz
• $\mathcal{A}\subseteq \mathcal{P}(\Omega )$ egy $\sigma$-algebra
• $\mathbb{P}$ egy mertek azzal a plusz feltetellel hogy $\mathbb{P}(\Omega )=1$

Elnevezesek:

• $\Omega$ - esemenyter
• $\omega \in \Omega$ - elemi esemeny
• $\mathcal{A}$ - esemenyek halmaza
• $A\in \mathcal{A}$ - esemenyek
• $\mathbb{P}$ - valoszinuseg
• $\Omega \in \mathcal{A}$ - biztos esemeny
• $\varnothing \in \mathcal{A}$ - lehetetlen esemeny

Valoszinusegi valtozok

Def.: Valoszinusegi valtozonak az olyan $X:\Omega \to \mathbb{R}$ fuggvenyeket nevezzuk, melyre $\mathbb{P}(a<X\le b)$ ertelmes minden $a<b$ valos szamra.

Varhato ertek

Def.:

• diszkret eset:

$$\mathbb{E}[X]=\sum _{j=1}^{\infty }{x}_j\cdot \mathbb{P}(X=x_j)$$

• abszolut folytonos eset:

$$\mathbb{E}[X]={\int }_{-\infty }^{\infty }x\cdot f(x)dx$$

Szoras

Def.: Masodik centralis momentum:

$$D^2[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-\mathbb{E}[X{]}^2$$ $$D[X]=\sqrt{D^2[X]}$$

Kovariencia

Def.:

$$\begin{array}{rl}\mathrm{cov}(X,Y)& =\mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])]\\ & =\mathrm{E}[XY-X\mathrm{E}[Y]-\mathrm{E}[X]Y+\mathrm{E}[X]\mathrm{E}[Y]]\\ & =\mathrm{E}[XY]-\mathrm{E}[X]\mathrm{E}[Y]-\mathrm{E}[X]\mathrm{E}[Y]+\mathrm{E}[X]\mathrm{E}[Y]\\ & =\mathrm{E}[XY]-\mathrm{E}[X]\mathrm{E}[Y].\end{array}$$

Korrelacios egyutthato

Def.:

$$\mathrm{cor}(X,Y)=\frac{\mathrm{cov}(X,Y)}{D(X)D(Y)}$$

Valoszinnusegi valtozok konvergenciaja

Def.: ${\xi }_n\to \xi$ eloszlasban ha $F_{{\xi }_n}(x)\stackrel{n\to \infty }{\to }{F}_{\xi }(x)$ minden pontban ahol $F_{\xi }$ folytonos.
Def.: ${\xi }_n\to \xi$ sztochasztikusan, ha $\mathbb{P}(|{\xi }_n-\xi |\ge \epsilon )\stackrel{n\to \infty }{\to }0$ minden $\epsilon >0$ -ra.
Def.: ${\xi }_n\to \xi$ majdnem mindenutt (1-valseggel) ha $\mathbb{P}(w:{\xi }_n(w)\to \xi (w))=1$
Def.: ${\xi }_n\to \xi$ $L^p$-ben ha $\mathbb{E}|{\xi }_n-\xi {|}^p\stackrel{n\to \infty }{\to }0$

Tetel: mm. $⟹$ sztoch.
Tetel: $L^p$ $⟹$ sztoch.
Tetel: sztoch $⟹$ eloszlasban
Megj.: m.m.-bol nem kovetkezik $L^p$ vagy forditva

Nagy szamok torvenye

Def.:

$$\mathrm{limsup}{A}_n=\bigcap _{n=1}^{\infty }\bigcup _{k=n}^{\infty }{A}_k$$

Tetel: (Borel–Cantelli-lemma)

• Ha $\sum \mathbb{P}(A_n)<\infty$ akkor $\mathbb{P}(\mathrm{limsup}{A}_n)=0$
  Ha az esemenyek valoszinusegenek osszege veges, akkor annak a valoszinusege hogy vegtelen sok megortenik az $0$.

• Tegyuk fel, hogy az $A_n$ esemenyek fuggetlenek. Ekkor $\sum \mathbb{P}(A_n)=\infty$ eseten $\mathbb{P}(\mathrm{limsup}{A}_n)=1$
  Ha a fuggetlen esemenyek valoszinusegenek osszege vegtelen, akkor annak a valoszinusege hogy vegtelen sok megtortenik az $1$.

Biz.:

$$\mathbb{P}(\mathrm{limsup}{A}_n)=\mathbb{P}\left(\bigcap _{n=1}^{\infty }\bigcup _{k=n}^{\infty }{A}_k\right)\le \mathbb{P}\left(\bigcup _{k=n}^{\infty }{A}_k\right)\le \sum _{k=n}^{\infty }\mathbb{P}(A_k)$$

Az utolso egyenlotlensegben kihasznaltuk hogy $\mathbb{P}$ egy mertek es ezet $\sigma$-szubadditiv. Minel az osszegben $n$-et barmennyire novelhetjuk, ezert tetszolegesen kicsi lehet az osszeg erteke.

Eleg igazolni hogy a komplementer esemeny valoszinusege $0$. A de Morgan-azonossag miatt

$$\overline{\mathrm{limsup}{A}_n}=\bigcap _{n=1}^{\infty }\bigcup _{k=n}^{\infty }\overline{A_k}$$

Azt kell belatni hogy $\mathbb{P}({\cap }_{k=n}^{\infty }\overline{A_k})=0$

$$\mathbb{P}\left(\bigcap _{k=n}^N\overline{A_{kj}}\right)=\prod _{k=n}^N\mathbb{P}(\overline{A_k})=\prod _{k=n}^N(1-\mathbb{P}(A_k))\le \prod _{k=n}^N{e}^{-\mathbb{P}(A_k)}\le \exp \left(-\sum _{k=n}^N\mathbb{P}(A_k)\right)$$

Ha $N\to \infty$ akkor a jobb oldal tart $0$-hoz.

Tetel: (Nagy szamok gyenge torvenye) $X_1,X_2,\dots$ i.i.d. valoszinusegi valtozok. Tegyuk fel, hogy $D(X_1)<\infty$. Ekkor $\forall \epsilon >0$ eseten

$$\mathbb{P}(|\overline{X_n}-\mathbb{E}(X_1)>\epsilon |)\to 0(n\to \infty )$$

azaz $\overline{X_n}\to \mathbb{E}(X_1)$ sztochasztikusan.

Tetel: (Nagy szamok eros torvenye veges szorassal) $X_1,X_2,\dots$ i.i.d. valoszinusegi valtozok. Tegyuk fel, hogy $D(X_1)<\infty$. Ekkor

$$\overline{X_n}\to \mathbb{E}(X_1)$$

teljesul $1$ valoszinuseggel (m.m.) $n\to \infty$ eseten.

Biz.: Legyen $S_n=X_1+X_2+\cdots +X_n$. Eloszor csak azt az esetet vizsgaljuk ahol minden $X_i$ nemnegativ.
Legyen $\epsilon >0$ es $A(n)=\left\{\left|\frac{S_n}{n}-\mathbb{E}{X}_1\right|>\epsilon \right\}$. Mivel $S_n/n$ szorasa vegtelen, mert $X_1$ szorasa az, ezert lehet hasznalni a Csebisev-egyenlotlenseget

$$\mathbb{P}(A(n^2))\le \frac{D^2(S_{n^2}/n^2)}{{\epsilon }^2}\le \frac{D^2(X_1)}{n^2{\epsilon }^2}$$ $$\sum \mathbb{P}(A(n^2))\le \sum \frac{D^2(X_1)}{n^2{\epsilon }^2}=\frac{D^2(X_1)}{{\epsilon }^2}\sum \frac{1}{n^2}<\infty$$

ezert a Borel–Cantell-lemma miatt $1$ a valoszinusege annak hogy az $A(n^2)$ csak veges sok $n$-re teljesul, tehat van olyan nagy $n$ amire

$$\left|\frac{S_{n^2}}{n^2}-\mathbb{E}{X}_1\right|\le \epsilon$$

ami pont azt jelenti hogy $1$ valseggel

$$\underset{n\to \infty }{\mathrm{limsup}}\left|\frac{S_{n^2}}{n^2}-\mathbb{E}{X}_1\right|\le \epsilon$$

Legyen $n=\lfloor \sqrt{n}\rfloor$ ekkor $m^2\le n<(m+1{)}^2$. Mivel minden $X_i$ nem negativ, ezert egy tobb $S_{m^2}\le S_n\le S_{(m+1{)}^2}$ tovobba

$${\left(\frac{m}{m+1}\right)}^2\frac{S_{m^2}}{m^2}\le \frac{S_n}{n}\le {\left(\frac{m+1}{m}\right)}^2\frac{S_{(m+1{)}^2}}{(m+1{)}^2}$$

Ha $n\to \infty$ akkor $m$ is tart vegtelenben es igy a rendor elv miatt $S_n/n$ is ugyanugy tart $\mathbb{E}{X}_1$-hez ahogyan a ket szele az egyenlotlensegnek.

Altalanos esetben minde $X_i$-t bontsuk fel a pozitiv es a negativ reszere: $X_i=X_i^{+}-X_i^{-}$, igy $X_i^{+}$ es $X_i^{-}$ is mar nemnegativ.

$$\frac{1}{n}\sum _{i=1}^n{X}_i=\frac{1}{n}\sum _{i=1}^n{X}_i^{+}-\frac{1}{n}\sum _{i=1}^n{X}_i^{-}$$

A baloldali tag tart $\mathbb{E}(X_1^{+})$-hez es a jobbolali tag tart $\mathbb{E}(X_1^{-})$-hoz mert mindketto nemnegativ es igy az elobb belatott allitas ervenyes rajuk.
Tovabba, $\mathbb{E}(X_1)=\mathbb{E}(X_1^{+})-\mathbb{E}(X_1^{-})$ es igy belattuk hogy $\overline{X_n}\to \mathbb{E}(X_1)$ $1$-valoszinuseggel.

Tetel: (Kolmogorov-fele nagy szamok torvenye) $X_1,X_2,\dots$ i.i.d. valoszinusegi valtozok

• Ha $\mathbb{E}(X_1)$ veges akkor $S_n/n\to \mathbb{E}(X_1)$ $1$ valoszinuseggel (m.m.).
• Ha $S_n/n$ pozitiv valoszinuseggel konvergal egy veges szamhoz, akkor $\mathbb{E}(X_1)$ veges.

Centralis hatareloszlas tetel

Tetel: $X_1,X_2,\dots$ i.i.d. melyekre $\mathbb{E}(X_1)=m$ es $D(X_1)=\sigma <\infty$. Ekkor minden $x\in \mathbb{R}$-re

$$\mathbb{P}\left(\frac{X_1+X_2+\cdots +X_n-n\cdot m}{\sigma \sqrt{n}}\le x\right)\to \Phi (x)(n\to \infty )$$

ahol $\Phi (x)$ a standard normalis eloszlas eloszlasfuggvenye. Azaz $Z\sim N(0,1)$

$$\Phi (x)=\mathbb{P}(Z\le x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{s^2}{2}\right)ds$$

Szavakban annyit jelent a fenti tetel hogy i.i.d. val. valtozok osszege eloszlasban konvergal a standard normalis eloszlashoz, ha az atlagot $0$-hoz igazitjuk es a szorast lenormaljuk.