ValStat het 4

date: 2024.02.06

$(\Omega ,\mathcal{A},\mathcal{P})$ parameters statisztikai mezo, $\mathcal{P}\{{\mathbb{P}}_{\vartheta }:\vartheta \in \Theta \}$
$(X_1,X_2,\dots ,X_n)$ minta

1. A $T(X_1,X_2,\dots ,X_n)$ becsles torzitatlan ha varhato erteke $g(\vartheta )$
2. $T_1,T_2,\dots$ becslesek sorozata konzisztens a $g(\vartheta )$-ra, ha $T_n(\vartheta )\to g(\vartheta ),n\to \infty$ eseten stochasztikusan $\forall \vartheta \in \Theta$.

peldak:

1. Egy $A$ esemeny $g(\vartheta )={\mathbb{P}}_{\vartheta }(A)$ valoszinusegere torzitatlan es konzisztens becsles.

$$\frac{1_1(A)+1_2(A)+\cdots +1_n(A)}{n}$$

azaz a relativ gyakorisag a konzisztens a nagy szamok gyenge torvenyebol kovetkezoen.

2. A minta $g(\vartheta )={\mathbf{E}}_{\vartheta }(X_1)$ varhato ertekere $\overline{X}$ torzitatlan es konzisztens (ugyanugy a nagy szamok gyenge torvenye alapja)

3. $X_1,X_2,\dots ,X_n\sim \text{ Poisson}(\lambda )$
   $\lambda$-nak $\overline{X}$ torzitatlan es konzisztens becslese

4. normalis eloszas: $N(m,{\sigma }^2)$

• $m$-re: $\overline{X}$ torzitatlan es konzisztens
• $\sigma$-ra: $s_n^{\ast 2}$ es $s_n^2$ konzisztensek, de nem torzitatlanok!
• ${\sigma }^2$-re: torzitatlan $s_n^{\ast 2}$ korrigalt tapasztalati szorasnegyzet

$$s_n^{\ast 2}=\frac{1}{n-1}\sum _{j=1}^n(X_j-\overline{X}{)}^2\text{ ez konzisztens}$$ $$s_n^2=\frac{1}{n}\sum _{j=1}^n(X_j-\overline{X}{)}^2\text{ ez is konzisztens}$$

5. Exponencialis eloszlas
   surusegfuggveny: $f(x)=\lambda e^{-\lambda x}\cdot 1(x>0)$, ${\mathbf{E}}_{\lambda }(X_1)=\frac{1}{\lambda }$
   $\lambda$-ra konzisztens de nem toriztatlan becsles: $\frac{1}{\overline{X}}$.

6. $(n+1)\min \{X_1,X_2,\dots ,X_n\}$ torzitatlan de nem konzisztens

Maximum likelihood módszer

pelda:
1)
jo tolot $p=0.9$ valseggel mukodik minden kiprobalasnal
rossz tolto $p=0.2$ valseggel mukodik minden kiprobalasnal

kivalasztunk egyet es kiprobaljuk $10$-szer.
Adat: $10$-bol $8$-szor mukodott.

$${\mathbb{P}}_{0.9}=\left(\genfrac{}{}{0ex}{}{10}{6}\right)0.9^{8}0.1^2$$

egy toltonel minden kiprobalasnal a tobbitol fuggetlenul $0<p<1$ valseggel mukodik.
minta: $10$-bol $8$-szor mukodott

$${\mathbb{P}}_p=\left(\genfrac{}{}{0ex}{}{10}{8}\right)p^8(1-p{)}^2$$

A maximum likelihood becsles az a $p$, amire ez az ertek a leheto legnagyobb.

Poisson eloszlas $X_1,X_2,\dots ,X_n\sim \text{ Poisson}(\lambda )$

$$n=95,\sum _{j=1}^{95}{X}_j=131$$ $${\mathbb{P}}_{\lambda }(X_1=3,\dots ,X_{95}=2)=\prod _{j=1}^{95}{\mathbb{P}}_{\lambda }(X_j=k_j)=\frac{e^{-95\lambda }{\lambda }^{{\sum }_{j=1}^{95}{k}_j}}{{\prod }_{j=1}^{95}{k}_j!}=\frac{e^{-95\lambda }{\lambda }^{131}}{{\prod }_{j=1}^{95}{k}_j!}$$

Q.: milyen $\lambda$-ra lesz ez maximalis?

Otlet: A log likelihood fuggvenyt derivaljuk mert osszeget konyebb mint szorzatot derivalni.

$$\log L_{n,\lambda }=\log \left(\frac{e^{-95\lambda }{\lambda }^{131}}{{\prod }_{j=1}^{95}{k}_j!}\right)=131\log \lambda -95-\log \prod _{j=1}^{95}{k}_j!$$ $$(\log L_{n,\lambda }{)}^{\prime }=\frac{131}{\lambda }-95=0⟺\lambda =\frac{131}{95}=\overline{X}$$ $$(\log L_{n,\lambda }{)}^{\prime \prime }=-\frac{131}{{\lambda }^2}<0⟹\text{ lokalis szelsoertek}$$ $$⟹\hat{\lambda }=\overline{X}\text{ a maximum likelihood becsles}$$

Def.: $(\Omega ,\mathcal{A},\mathcal{P})$ parameteres statisztikai mezo. A $\vartheta$ parameter maximum likelihood becslese (MLE-je) az a $\hat{\vartheta }$, amire $\theta \mapsto L_{n,\vartheta }(X_1,X_2,\dots ,X_n)$ likelihood fuggveny maximalis.

pelda:
$X_1,X_2,\dots ,X_n$ egyenletes eloszlasu az $[a,b]$ intervallumon.

$$L_{n,a,b}(X_1,X_2,\dots ,X_n)=\prod _{j=1}^n{f}_{a,b}(X_j)=\prod _{j=1}^n\frac{1}{b-a}\cdot 1(a\le X_j\le b)=\frac{1}{(b-a{)}^n}\cdot 1(a\le X_1,\dots ,X_n\le b)$$

kell: $a,b$ amire ez a legnagyobb.

$$⟹a=\min \{X_j\},b=\max \{X_j\}$$

MLE tulajdonsagai

• Nem mindig letezik
• Nem feltetlenul egyertelmu
• $g(\vartheta )$ MLE-je $g(\hat{\vartheta })$
• Az MLE-k elegseges statisztika fuggvenye, azaz, ha $T$ elegseges, $\hat{\vartheta }=h(T(X_1,X_2,\dots X_n))$ alaku.
• Megfelelo feltetelek (eros regularitasi feltetelek) mellett:
  • aszimptotikusan torzitatlan, tehat: ${\lim }_{n\to \infty }\mathbf{E}(\hat{\vartheta })\to \vartheta$
  • aszimptotikusan hatasos
  • aszimptotikusan normalis eloszlasu, pontosabban, $\sqrt{n}(\hat{\vartheta }-\vartheta )$ normalis eloszlashoz konvergal eloszlasban
• Ha MLE nem letezik, gyakran a ${\left(\log L_{n,\vartheta }(X_1,X_2,\dots ,X_n)\right)}^{\prime }=0$ egyenlet megoldasat hasznaljak

Momentum modszer

Def.: Az $X$ valoszinusegi valtozo $k$-adik momentuma: $\mathbf{E}(X^k)$, ha ez letezik.

$(\Omega ,\mathcal{A},\mathcal{P})$ parameteres statisztikai mezo, ${\mathbf{E}}_{\vartheta }(X_1^k)$ $k$-adik momentum.
A minta $k$-adik tapasztalati momentuma:

$$\frac{1}{n}\sum _{j=1}^n{X}_j^k$$

A momentum modszer egyenletrendszere:
$k=1$

$$\frac{1}{n}\sum _{j=1}^n{X}_j=\overline{X}={\mathbf{E}}_{\vartheta }(X_1)$$

$k=2$

$$\frac{1}{n}\sum _{j=1}^n{X}_j^2={\mathbf{E}}_{\vartheta }(X_1^2)$$

$k=k$

$$\frac{1}{n}\sum _{j=1}^n{X}_j^k={\mathbf{E}}_{\vartheta }(X_1^k)$$

Addig folytatjuk ameddig a $k$-adik egyenletig nem kapunk egyertelmu megoldast.

pelda:

1. Poission$(\lambda )$

$$\overline{X}={\mathbf{E}}_{\lambda }(X_1)=\lambda$$ $$⟹\hat{\lambda }=\overline{X}$$

2. Normalis eloszlas

$$\overline{X}={\mathbf{E}}_{m,\sigma }(X_1)=m$$ $$\frac{1}{n}\sum _{j=1}^n{X}_j^2={\mathbf{E}}_{m,\sigma }(X_1^2)=m^2+{\sigma }^2$$ $$⟹{\sigma }^2=\frac{1}{n}\sum _{j=1}^n{X}_j^2-(\overline{X}{)}^2=s_n^2$$ $$⟹(\hat{m},\hat{\sigma })=(\overline{X},s_n)$$

3. exponencialis eloszlas

$$\overline{X}={\mathbf{E}}_{\lambda }(X_1)=\frac{1}{\lambda }$$ $$⟹\hat{\lambda }=\frac{1}{\overline{X}}$$