התפלגות תת-מעריכית

השוואה בין זנבות של התפלגות תת-מעריכית ללא תת-מעריכית

בתורת ההסתברות, התפלגות תת-מעריכית (או תת-אקספוננציאלית) היא התפלגות שזנבותיה דועכים בקצב מעריכי או מהיר יותר. פורמלית, התפלגות של משתנה מקרי $X$ תיקרא תת-מעריכית אם עבור כל $t\geq 0$ קיים $K_{1}>0$ כך ש: ${\textstyle \Pr(|X|\geq t)\leq 2\exp {(-t/K_{1})}}$.

במילים: הסיכוי ש $|X|$ נמצא רחוק יותר מ-$t$ חסום בפונקציה מעריכית דועכת ביחס ל-$t$.

התפלגות תת-מעריכית היא גם התפלגות זנב דק כיוון שהיא עונה על ההגדרה שקיים $t\geq 0$:

$\lim _{x\to \infty }e^{tx}{\overline {F}}(x)=0$, כאשר ${\overline {F}}(x)\,$ היא פונקציית התפלגות של $X$ ,${\overline {F}}(x)\equiv \Pr(X>x)\,$

הגדרות

ההתפלגות התת-מעריכית ניתנת להגדרה במספר דרכים שקולות, עבור קבועים $K_{2},..,K_{5}$ ממשיים:

1. תוחלת האקספוננט של הערך המוחלט של המשתנה המקרי כפול פרמטר חסום בשתיים: $\operatorname {E} [e^{|X|/K_{2}}]\leq 2$.
2. עבור כל $\lambda$ כך ש-$0\leq \lambda \leq {\frac {1}{K_{3}}}$, התוחלת של האקספוננט של המשתנה המקרי כפול למדה דועכת מעריכית עם קצב $K_{3}$: $\operatorname {E} [e^{\lambda |X|}]\leq e^{K_{3}\lambda }$.
3. לכל $p\geq 1$, מתקיים: $\operatorname {E} [|X|^{p}]\leq K_{4}p$.
4. במידה ש-$E[X]=0$, עבור כל $\lambda$ כאשר $|\lambda |<{\frac {1}{K_{5}}}$, מתקיים: $E[e^{\lambda X}]\leq e^{K_{5}^{2}\lambda ^{2}}$.
5. אם קיים משתנה ${\sqrt {X}}$ שהוא תת-גאוסי

תכונות

• סכום משתנים תת-מעריכיים: אם $X$ ו-$Y$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם הסכום שלהם $X+Y$ הוא תת-מעריכי.
• יציבות תחת מקסימום: התפלגויות תת-מעריכיות הן יציבות תחת מקסימום. כלומר, אם $X_{1},X_{2},\ldots ,X_{n}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם $\max(X_{1},X_{2},\ldots ,X_{n})$ הוא תת-מעריכי.
  • הוכחה: ניתן להוכיח זאת באמצעות חסם האיחוד וההגדרה הראשונה של התפלגות תת-מעריכית:

$\mathbb {P} (\max(X_{1},\ldots ,X_{n})>t)\leq \sum _{i=1}^{n}\mathbb {P} (X_{i}>t)\leq 2ne^{-{\frac {t}{\max(K_{1},\ldots ,K_{n})}}}$, כאשר $K_{i}$ הם פרמטרי התת-מעריכיות של המשתנים.

נורמות

נורמת אורליץ

נורמת אורליץ של משתנה מקרי מוגדרת באמצעות פונקציית אורליץ $\Psi$ לפי הנוסחה:

$\|X\|_{\Psi }\triangleq \inf\{K>0\mid \mathbb {E} [\Psi (|X|/K)]\leq 1\}$.

$\Psi$ תקרא פונקציית אורליץ והיא תקיים את התכונות הבאות:

• $\Psi$ פונקציה קמורה
• $\Psi$ פונקציה מונוטונית לא יורדת
• מוגדרת על המספרים האי-שליליים ($\mathbb {R} ^{+}$)
• ומקיימת $\Psi (0)=0$, $lim_{x\to \infty }\Psi (x)=\infty$

עבור הפונקציה $\Psi _{1}(x)=\exp(x)-1$, אפשר לראות שלמשתנה מקרי יש נורמת אורליץ $\Psi _{1}$ סופית אם ורק אם הוא תת-מעריכי. באופן כללי, עבור הפונקציות $\Psi _{q}(x)=\exp(x^{q})-1$ (לכל $q\geq 1$), נקבל משפחה מעריכית של פונקציות אורליץ. גם המקרה $q=2$ הוא מיוחד מפני שלמשתנה מקרי יש נורמת $\Psi _{2}$ סופית אם ורק אם הוא משתנה תת-גאוסי.

קבוצה נוספת של נורמות אורליץ מתקבלת עבור $\Psi (x)=x^{p}$, כאשר הנורמה התקבלת היא נורמת $L_{p}$ של המשתנה המקרי.

נורמה תת-מעריכית

הנורמה התת-מעריכית היא דוגמה לנורמת אורליץ כאשר $\Psi _{1}(x)=\exp(x)-1$, מסומנת כ-$\|\cdot \|_{\psi _{1}}$, של משתנה מקרי מוגדרת על ידי:$\|X\|_{\psi _{1}}:=\inf\{K>0\mid \mathbb {E} (e^{|X|/K})\leq 2\}$,

על סמך ההגדרה השקולה הראשונה, אם הנורמה סופית המשתנה הוא תת-מעריכי.

נורמה תת-גאוסית

הנורמה התת-גאוסית היא דוגמה לנורמת אורליץ כאשר $\Psi _{2}(x)=\exp(x^{2})-1$, מסומנת כ-$\|\cdot \|_{\psi _{2}}$, של משתנה מקרי מוגדרת על ידי:$\|X\|_{\psi _{2}}:=\inf\{K>0\mid \mathbb {E} (e^{X^{2}/K^{2}})\leq 2\}$.

הקשר בין משתנה מקרי תת-גאוסי למשתנה מקרי תת-מעריכי

• כל משתנה $X$ שהוא תת-גאוסי הוא גם משתנה מקרי תת-מעריכי
• אם $X$ הוא משתנה מקרי תת-מעריכי, אז המשתנה $X^{2}$ הוא משתנה מקרי תת-גאוסי, ומתקיים ש:$\|X^{2}\|_{\psi _{1}}=\|X\|_{\psi _{2}}^{2}$.
  • טענה זאת נובעת ישירות מהגדרת הנורמות
• אם $X$ ו-$Y$ הם משתנים מקריים תת-גאוסיים, אז המכפלה שלהם, $XY$, היא משתנה מקרי תת-מעריכי, ומתקיים $\|XY\|_{\psi _{1}}\leq \|X\|_{\psi _{2}}\cdot \|Y\|_{\psi _{2}}$.

משפטים

אי שוויון ברנשטיין

אי שוויון ברנשטיין מספק חסם על הזנב של סכום של משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס.

נניח ש-$X_{1},X_{2},...,X_{N}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. אזי, לכל $t\geq 0$, מתקיים:

$\Pr \left(\sum _{i=1}^{N}X_{i}\geq t\right)\leq 2\exp \left(-c\min \left({\frac {t^{2}}{\sum _{i=1}^{N}\|X_{i}\|_{\psi _{1}}^{2}}},{\frac {t}{\max _{i}\|X_{i}\|_{\psi _{1}}}}\right)\right)$,

כאשר $c>0$.

אי-שוויון ברנשטיין עבור התפלגויות חסומות

נניח ש-$X_{1},X_{2},...,X_{N}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. נניח גם כי המשתנים חסומים, כלומר $|X_{i}|\leq K$ לכל $i$, עבור קבוע $K>0$. אז עבור כל $t\geq 0$, אי-שוויון ברנשטיין קובע כי:

$\mathbb {P} \left(\sum _{i=1}^{N}X_{i}\geq t\right)\leq 2\exp \left(-{\frac {t^{2}}{2\sigma ^{2}+{\frac {2Kt}{3}}}}\right),$

כאשר $\sigma ^{2}=\sum _{i=1}^{N}\mathbb {E} [X_{i}^{2}]$ היא סכום השונויות.

התפלגויות מוכרות

• ההתפלגות מעריכית היא התפלגות תת-מעריכית
• התפלגות וייבול כאשר $k\geq 1$:
  • פונקציית ההסתברות המצטברת שלה היא:$F(x;k,\lambda )={\begin{cases}1-\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)&x\geq 0,\\0&x<0.\end{cases}}$
  • זנב ההתפלגות מקיים: $\mathbb {P} (|X|>x)=\mathbb {P} (X>x)=1-F(x)=\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)$
  • עבור $k=1$: $\mathbb {P} (|X|>x)=\exp \left(-{\frac {x}{\lambda }}\right)$ כלומר, מדובר בקצב דעיכה מעריכי בדיוק, כאשר הקבוע הוא הפרמטר $\lambda$. לכן, כאשר $k=1$, התפלגות וייבול היא תת-מעריכית (זהה להתפלגות מעריכית).
  • עבור $k>1$, מתקיים:$\mathbb {P} (|X|>x)=\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)$ ביטוי זה דועך מהר יותר מאקספוננט שלילי פשוט, כלומר גם במקרה זה ההתפלגות היא תת-מעריכית.
  • עבור $k<1$, תנאי זה לא מתקיים, ולכן התפלגות וייבול אינה תת-מעריכית במקרים אלו.
• כל התפלגות תת-גאוסית

ראו גם

• התפלגות תת-גאוסית
• התפלגות מעריכית
• נורמת אורליץ
• אי-שוויונות ברנשטיין

קישורים חיצוניים

• Roman Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science, University of California, Irvine, June 9, 2020