התכנסות (הסתברות)

בתורת ההסתברות יש כמה משמעויות שונות למושג ההתכנסות של סדרת משתנים מקריים, שכולן מכלילות את המושג המתמטי הפשוט יותר, גבול של סדרה. כמו בענפים אחרים באנליזה, ההתכנסות של סדרה לגבול היא רעיון מרכזי בתורת ההסתברות, ויש לו השלכות חשובות בסטטיסטיקה ובתהליכים סטוכסטיים.

לדוגמה, נניח ש- $\ X_{n}$ סדרה של משתנים מקריים בלתי תלויים בעלי תוחלת $\ \mu$ ושונות $\ \sigma ^{2}$ , ותהי $\ Y_{n}={\frac {X_{1}+\dots +X_{n}}{n}}$ סדרת הממוצעים. לפי החוק החלש של המספרים הגדולים, הסדרה $\ Y_{n}$ מתכנסת בהסתברות אל התוחלת; לפי החוק החזק של המספרים הגדולים, אותה סדרה מתכנסת כמעט בוודאות; ואילו לפי משפט הגבול המרכזי, הסדרה המתוקננת $\ {\frac {Y_{n}-\mu }{\sigma /{\sqrt {n}}}}$ מתכנסת בהתפלגות אל ההתפלגות הנורמלית הסטנדרטית.

להלן, $\ X$ הוא משתנה מקרי ו- $\ X_{1},X_{2},\dots ,X_{n},\dots$ היא סדרה של משתנים מקריים, המוגדרים כולם על אותו מרחב הסתברות (למעט התכנסות בהתפלגות המוגדרת גם ללא הדרישה למרחב משותף).

התכנסות בהתפלגות

נניח ש- $\ F_{n}$ הן פונקציות ההסתברות המצטברת של המשתנים המקריים $\ X_{n}$ , וש- $\ F$ היא פונקציית ההסתברות המצטברת של $\ X$ . הסדרה $\ X_{n}$ מתכנסת בהתפלגות ל- X, אם לכל x שבו F רציפה, $\ F_{n}(x)\rightarrow F(x)$ , כלומר, סדרת הפונקציות $\ F_{n}$ מתכנסת נקודתית לפונקציה F לכל נקודת רציפות של F. מכיוון ש- $\ F(x)=P(X\leq x)$ , משמעותה של התכנסות כזו היא שהסיכוי של $\ X_{n}$ ליפול בקטע מסוים, כאשר n גדול מספיק, קרוב לסיכוי של X ליפול באותו קטע. מקובל לסמן התכנסות בהתפלגות ב- $\ X_{n}{\xrightarrow {\mathcal {D}}}X$ .

התכנסות בהתפלגות היא הצורה החלשה ביותר של התכנסות, והיא נקראת לפעמים התכנסות חלשה, בדומה להתכנסות חלשה של מידות. התכנסות בהתפלגות שקולה להתכנסות נקודתית של סדרת הפונקציות המציינות אל הפונקציה המציינת של המשתנה בגבול. סוג זה של התכנסות נובע מכל אחד מן הסוגים האחרים שיוצגו להלן, ומכאן שהוא השכיח ביותר. אם המשתנה המקרי X הוא קבוע, אז התכנסות בהתפלגות שקולה להתכנסות בהסתברות, החזקה ממנה בדרך כלל.

התכנסות בהתפלגות נשמרת תחת פונקציות רציפות: אם $\ X_{n}{\xrightarrow {\mathcal {D}}}X$ אז $\ f(X_{n}){\xrightarrow {\mathcal {D}}}f(X)$ לכל פונקציה רציפה $\ f:\mathbb {R} \rightarrow \mathbb {R}$ .

התכונה " $\ F_{n}(x)\rightarrow F(x)$ לכל x" (ללא המגבלה על הרציפות של F) חזקה ממש מהתכנסות בהתפלגות.

התכנסות בהסתברות

הסדרה $\ X_{1},\dots ,X_{n},\dots$ מתכנסת בהסתברות אל המשתנה המקרי X, אם לכל $\ 0<\delta$ , סדרת ההסתברויות $\ P(|X_{n}-X|<\delta )$ מתכנסת ל-1. במילים אחרות, הסיכוי לכך שאברי הסדרה יהיו רחוקים מ- X, שואף לאפס. מקובל לסמן התכנסות בהסתברות ב- $\ X_{n}{\xrightarrow {P}}X$ . כל סדרה המתכנסת בהסתברות, מתכנסת גם בהתפלגות.

התכנסות כמעט בוודאות

הסדרה $\ X_{1},\dots ,X_{n},\dots$ מתכנסת כמעט בוודאות (Almost surely) אל המשתנה המקרי X, אם הסיכוי לכך ש- $\ \lim _{n\rightarrow \infty }X_{n}=X$ שווה ל-1. במקרה כזה מסמנים $\ X_{n}{\xrightarrow {a.s.}}X$ . התכנסות כמעט בוודאות נקראת לפעמים התכנסות בהסתברות 1, התכנסות כמעט בכל מקום, או התכנסות במובן החזק.

מונח זה הוא מקרה פרטי של התכנסות כמעט בכל מקום של סדרת פונקציות מדידות. במקרה ההוא המידה לא בהכרח סופית, ולכן ההגדרה הכללית היא שקבוצת הנקודות עליהן אין התכנסות היא ממידה אפס.

כל סדרה המתכנסת כמעט בוודאות מתכנסת גם בהסתברות, ולכן גם בהתפלגות. מאידך, התכנסות כמעט בוודאות אינה שכיחה במיוחד. למשל, אם המשתנים $\ X_{n}$ בלתי תלויים, אז הסדרה אינה יכולה להתכנס כמעט בוודאות, אלא אם המשתנה X שאליו היא מתכנסת הוא קבוע. אם למשתנים תוחלת אפס והטור $\ \sum V(X_{n})$ מתכנס, אז הסדרה מתכנסת לאפס כמעט בוודאות.

התכנסות כמעט תמיד

הסדרה $\ X_{1},\dots ,X_{n},\dots$ מתכנסת כמעט תמיד אל X, אם לכל $\ \delta >0$ , ההסתברויות $\ p_{n}=P(\forall k>n:|X_{k}-X|<\delta )$ שואפות ל-1. תופעה זו שקולה להתכנסות כמעט בוודאות.

התכנסות בוודאות

אם הגבול $\ \lim _{n\rightarrow \infty }X_{n}$ קיים ושווה ל- X בוודאות (ולא רק בהסתברות 1), אז הסדרה מתכנסת בוודאות ל-X. זוהי התכנסות חזקה יותר מהתכנסות כמעט בוודאות, אך מבחינת תורת ההסתברות ההבדל בין השתיים זניח, ולכן ההתכנסות בוודאות אינה שימושית במיוחד.

התכנסות בתוחלת

הסדרה $\ X_{1},\dots ,X_{n},\dots$ מתכנסת בתוחלת אל X, אם לכל המשתנים המקריים $\ |X_{n}|$ יש תוחלת סופית, והסדרה $\ E(|X_{n}-X|)$ שואפת לאפס.

באופן כללי יותר, הסדרה מתכנסת במומנט ה-p-י אם לכל המשתנים כנ"ל יש מומנט p-י סופי, והסדרה הסדרה $\ E(|X_{n}-X|^{p})$ שואפת לאפס. זוהי למעשה התכנסות במרחב Lp. התכנסות בתוחלת היא מקרה פרטי של התכנסות במומנט – היא התכנסות במומנט הראשון.

התכנסות במומנט ה-p-י חזקה יותר ככל ש-p גדול יותר (בתנאי ש־ $\ p\geq 1$ ), ותמיד (לכל $0<p$ ) נובעת ממנה התכנסות בהסתברות (לפי אי-שוויון צ'ביצ'ב). מאידך, אם המשתנים $\ X_{n}$ חסומים, אז התכנסות בהסתברות גוררת גם התכנסות במומנט ה-p-י לכל $\ p\geq 1$ .

התכנסות חלשה

סוג נוסף של התכנסות הוא התכנסות חלשה - נאמר כי $X_{n}{\overset {w}{\to }}X$ (מהמילה weakly) אם לכל פונקציה רציפה וחסומה $g$ מתקיים $E[g(X_{n})]\to E[g(X)]$ .