10.b) Statisztika

Becslesek es tulajdonsagaik

Def.: (likelihood fuggveny)

• diszkret eset

$$L_{n,\vartheta }(k_1,\dots ,k_n)=\prod _{j=1}^n{\mathbb{P}}_{\vartheta }(Y_j=k_j)$$

• abszolut folytonos eset

$$L_{n,\vartheta }(t_1,\dots ,t_n)=\prod _{j=1}^n{f}_{j,\vartheta }(t_j)(t_1,\dots ,t_n\in \mathbb{R})$$

Def.: A $\vartheta$ maximum likelihood becslese az $X_1,\dots ,X_n$ mintabol $\hat{\vartheta }$ ha $\hat{\vartheta }$ maximalizalja a $L_{n,\vartheta }(X_1,\dots ,X_n)$ fuggvenyt. Ahol $L_{n,\vartheta }$ a minta likelihood fuggvenye.

pelda: (normalis eloszlasra)

$$L_{n,m,\sigma }=\prod _{j=1}^n{f}_{j,m,\sigma }=\prod _{j=1}^n\left[\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(X_j-m{)}^2}{2{\sigma }^2}\right)\right]$$

ML becsles tulajdonsagai:

• nem minden statisztikai mezon letezik
• nem feltetlenul egyertelmu
• nem feltetlenul torzitatlan
• a $g(\vartheta )$ fuggveny ML-becslese $g(\hat{\vartheta })$ ahol $\hat{\vartheta }$ ML-becsles $\vartheta$-ra
• Eros regularitasi feltetelek mellet az ML-becsles aszimptotikusan torzitatlan:

$$\underset{n\to \infty }{\lim }\mathbb{E}(\hat{\vartheta })=\vartheta$$

• Eros regularitasi feltetelek mellet az ML-becsles aszimptotikusan hatasos.
• Gyakran eleg a kovetkezo egyenletet megoldani a ML-becsles megtalalasahoz:

$$l_{m,\vartheta }=\frac{\partial }{\partial \vartheta }\log L_{m,\vartheta }=0$$

Def.: (Momentum modszer) Irjuk fel az alabbi egyenleteket a legkisebb olyan $k$-ig, amire az egyenletrendszer egyertelmuen meghatarozza $\vartheta$-t:

$${\mathbb{E}}_{\vartheta }(X_1^m)=\frac{1}{n}\sum _{j=1}^n{X}_j^{m}m=1,\dots ,k$$

Momentum modszer tulajdonsagai:

• nem mindig letezik
• nem mindig egyertelmu
• nem feltetlenul hatasos
• nem feltetlenul torzitatlan

Torzitatlansag, hatasossag, konzisztencia

Def.: A $T$ statisztika torzitatlan becsles $g$-re, ha $\forall \vartheta \in \Theta$-ra

$${\mathbb{E}}_{\vartheta }(T(X_1,\dots ,X_n))=g(\vartheta )$$

Def.: Legyenek $T_1,T_2$ torzitatlan becslesei $g(\vartheta )$-nek. Azt mondjuk hogy $T_1$ hatasosabb $T_2$-nel, ha

$$D_{\vartheta }^2(T_1)\le D_{\vartheta }^2(T_2)$$

teljesul $\forall \vartheta \in \Theta$.

Def.: A $T_1$ becsles hatasos $g(\vartheta )$-ra, ha torzitatlan, es minden masik torzitatlan becslesnel hatasosabb.

Def.: A $T_n=T_n(X_1,X_2,\dots ,X_n)$ becslessorozat konzisztens $g(\vartheta )$-ra, ha $\forall \vartheta \in \Theta$-ra

$$T_n(X_1,X_2,\dots ,X_n)\to g(\vartheta )$$

$n\to \infty$ eseten sztochasztikusan.

All.: $T_n$ konzisztens becslessorozat $g(\vartheta )$-ra ha

$${\mathbb{E}}_{\vartheta }(T_n(X))\to g(\vartheta )\text{es}{D}_{\vartheta }(T_n(X))\to 0$$

minden $\vartheta \in \Theta$-ra.
Biz.: Azt kell belatni hogy $\forall \epsilon >0$-ra

$${\mathbb{P}}_{\vartheta }(|T_n-g(\vartheta )|>\epsilon )\to 0(n\to \infty )$$

Az elso feltetel miatt $\forall \epsilon /2>0$ letezik elegge nagy $n$ melyre $|{\mathbb{E}}_{\vartheta }(T_n(X))-g(\vartheta )|\le \epsilon /2$.

$${\mathbb{P}}_{\vartheta }(|T_n(X)-g(\vartheta )|\ge \epsilon )={\mathbb{P}}_{\vartheta }(|T_n(X)-{\mathbb{E}}_{\vartheta }(T_n(X))+{\mathbb{E}}_{\vartheta }(T_n(X))-g(\vartheta )|\ge \epsilon )$$ $$\le {\mathbb{P}}_{\vartheta }(|T_n(X)-{\mathbb{E}}_{\vartheta }(T_n(X))|\ge \epsilon )\le \frac{D^2(T_n(X))}{(\epsilon /2{)}^2}$$

A masodik feltetel miatt minden eleg nagy $n$-ra a szamlalo legfeljeb ${\epsilon }^3/4$, ilyenkor a hanyados legfeljebb $\epsilon$, amivel belattuk azt amit akartunk.

Hipotezisvizsgalat

Legyen $(\Omega ,\mathcal{A},\mathcal{P})$ parameteres statisztikai mezo, azaz $\mathcal{P}=\{{\mathbb{P}}_{\vartheta }:\vartheta \in \Theta \}$ valamilyen $\Theta$ parameterterrel. $\Theta ={\Theta }_0{\cup }^{\ast }{\Theta }_1$
Nullhipotezis - $H_0:\vartheta \in {\Theta }_0$
Ellenhipotezis - $H_1:\vartheta \in {\Theta }_1$

Legyen a mintater $B\subseteq {\mathbb{R}}^n$, es ezt is diszjunkt uniora bontjuk: $B=B_0{\cup }^{\ast }{B}_1$.
Elfogadasi tartomany: Ha $(X_0,\dots ,X_n)\in B_0$ akkor elfogadjuk $H_0$.
Elutasitasi (kritikus) tartomany: Ha $(X_0,\dots ,X_n)\in B_1$ akkor elutasitjuk $H_0$.

Elsofaju hiba: $H_0$ igaz de mi elutasitottuk.
Masodfaju hiba: $H_0$ nem igaz de mi elfogadtuk.

Def.: Egy proba szignifikancia szintje (terjedelme) a legnagyobb valoszinuseg amivel elsofaju hibat vetunk, azaz

$$\alpha =\underset{\vartheta \in {\Theta }_0}{\sup }{\mathbb{P}}_{\vartheta }(\underline{X}\in B_1)$$

Def.: Egy proba erofuggvenye annak a valoszinusege hogy elutasitjuk $H_0$-t ha az nem igaz, azaz

$$\beta (\vartheta )={\mathbb{P}}_{\vartheta }(\underline{X}\in B_1)(\vartheta \in {\Theta }_1)$$

Def.: Egy hipotezisvizsgalati feladatban a $p$-ertek a legnagyobb olyan szignifikancia szint, ami mellett $H_0$-t elfogadjuk.

Tehat ha $\alpha$ a szignifikancia szint, akkor

• $p<\alpha$ eseten elutasitjuk $H_0$-t, azaz szignifikans elteres van $H_0$-tol.
• $p\ge \alpha$ eseten elfogadjuk $H_0$-t, azaz nincs szignifikans elteres $H_0$-tol, tehat nem volt eleg bizonyitek $H_1$-re.

Normalis eloszla parametereire vonatkozo probak

z-proba

Normalis eloszlas varhatoertekere vonatkozo proba ismert szoras mellett.

$$z=\frac{\overline{X}-m_0}{\sigma }\sqrt{n}$$

• Egyoldali proba
  Ha $z>{\Phi }^{-1}(1-\alpha )$ akkor elvetjuk a nullhipotezist, kulonben elfogadjuk.
  Ilyenkor a $p$-ertek $1-\Phi (z)$
• Ketoldali proba
  Ha $|z|>{\Phi }^{-1}(1-\alpha /2)$ akkor elvetjuk a nullhipotezist, kulonben elfogadjuk.
  Ilyenkor a $p$-ertek $2-2\Phi (|z|)$

t-proba

Normalis eloszlas varhatoertekere vonatkozo probam ismeretlen szoras mellett.

$$t=\frac{\overline{X}-m_0}{s_n^{\ast }}\sqrt{n}$$

• Egyoldali proba
  Ha $t>{\bar{t}}_{n-1,\alpha }$, azaz $p<\alpha$ akkor elutasitjuk a nullhipotezist, kulonben elfogadjuk.
  Ahol ${\bar{t}}_{n-1,\alpha }$ az $f=n-1$ szabadsagi foku $t$-eloszlas felso $1-\alpha$ kvantilise.

	Egy mintas	Ket mintas
Egy oldali	$m<m_0$	$m_1<m_2$
Ket oldali	$m=m_0$	$m_1=m_2$

F-proba

Fuggetlen normalis eloszlasu mintak szorasanak osszehasonlitasara alkalmas proba.

$$F=\frac{s_{n_1}^{\ast 2}}{s_{n_2}^{\ast 2}}$$

Ketoldali proba: $H_0:{\sigma }_1={\sigma }_2$, $H_1:{\sigma }_1\ne {\sigma }_2$
Ha $F>F_{n_1-1,n_2-1}$ vagy $1/F>F_{n_2-1,n_1-1}$ akkor elvetjuk a nullhipotezist, kulonben elfogadjuk.
Ahol $F_{f_1,f_2}$ az $f_1,f_2$ szabadsagi foku $F$-eloszlas $1-\alpha /2$ kvantilise.

chi^2 probak

Illeszkedes vizsgalat

• Tiszta illeszkedes vizsgalat:

$$H_0:\mathbb{P}(A_k)=p_k\forall k$$ $$H_1:\exists k:\mathbb{P}(A_k)\ne p_k$$

Ha ${\chi }^2>c_{\text{krit}}$ akkor elutasitjuk $H_0$-t. Ahol $c_{\text{krit}}$ az $f=r-1$ szabadsagi foku ${\chi }^2$-eloszlas $1-\alpha$ kvantilise.

• Becsleses illeszkedes vizsgalat:

$$H_0:\mathbb{P}(A_k)={\hat{p}}_k\forall k$$ $$H_1:\exists k:\mathbb{P}(A_k)\ne {\hat{p}}_k$$

ahol ${\hat{p}}_k$ a becsult parameterbol szarmazo valoszinuseg.
Ha ${\chi }^2>c_{\text{krit}}$ akkor elutasitjuk $H_0$-t. Ahol $c_{\text{krit}}$ az $f=r-1-d$ (a becsult parameter $d$-dimenzios) szabadsagi foku ${\chi }^2$-eloszlas $1-\alpha$ kvantilise.

probastatisztika:

$${\chi }^2=\sum _{k=1}^r\frac{(N_k-n\cdot p_k{)}^2}{n\cdot p_k}$$

Fuggetlenseg vizsgalat

$A_1,\dots ,A_r$ es $B_1,\dots ,B_s$ teljes esemenyrendszerek.
$H_0$: a ket szempont fuggetlen egymastol, azaz $\mathbb{P}(A_i\cap B_i)=\mathbb{P}(A_i)\cdot \mathbb{P}(B_i)$ minden $i,j$-re.
$H_1$: $\exists i,j$ amire $\mathbb{P}(A_i\cap B_i)\ne \mathbb{P}(A_i)\cdot \mathbb{P}(B_i)$

probastatisztika:

$${\chi }^2=\sum _{i=1}^r\sum _{j=1}^s\frac{{\left(N_{ij}-\frac{N_{i\cdot }{N}_{\cdot j}}{n}\right)}^2}{\frac{N_{i\cdot }{N}_{\cdot j}}{n}}$$

A fenti probastatisztika $f=(r-1)(s-1)$ szabadsagi foku ${\chi }^2$ eloszlashoz tart.
Ha ${\chi }^2>c_{\text{krit}}$ akkor elutasitjuk $H_0$-t, tehat az adatok szignifikans osszefuggest mutatnak.
Ha ${\chi }^2\le c_{\text{krit}}$ akkor elfogadjuk $H_0$-t, tehat nem talaltunk szignifikans osszefuggest a szempontok kozott.

Homogenitas vizsgalat

Van $X_1,\dots ,X_n$ es $Y_1,\dots ,Y_m$ fuggetlen mintank az osszes adatot $r$ diszjunkt osztalyba soroljuk, ahol az $i$-edik osztaly valoszinusege $p_i$ az elso mintaban es $q_i$ a masodik mintaban. Az elso mintaban az osztalyok gyakorisaga ${\nu }_i$, mig a masodik mintaban az osztalyok gyakorisaga ${\mu }_i$.
$H_0$: A ket eloszlas megegyezik, tehat $p_i=q_i$ minden $i$-re
$H_1$: Van olyan $i$ amire $p_1\ne q_1$

probastatisztika:

$${\chi }^2=nm\sum _{i=1}^r\frac{{\left(\frac{{\nu }_i}{n}-\frac{{\mu }_i}{m}\right)}^2}{{\nu }_i+{\mu }_i}$$

A fenti probastatisztika $f=r-1$ szabadsagi foku ${\chi }^2$ eloszlashoz tart.