תהליך מקרי ארגודי

בהסתברות וסטטיסטיקה, תהליך מקרי אֶרגוֹדי (באנגלית: Ergodic process) הוא תהליך מקרי אשר בו כל פונקציה זמנית, הפועלת על מדגם (סימולטני) ארוך מספיק, דומה לפונקציה (לאורך זמן) המתאימה על הסטטיסטיקה של התהליך, והשוויון מתקיים בגבול עבור מדגם אינסופי. באופן זה ניתן להסיק על תכונות סטטיסטיות כגון התוחלת לפי ממוצע המדגם (הנוכחי) בלבד וללא ידע סטטיסטי קודם על התהליך.

משמעות הארגודיות היא דגימה רחבה באותו זמן מתנהגת כמו תהליך לאורך-זמן.

תמצית הרעיון

פעמים רבות יש לבצע עיבוד כלשהו על תהליכים מקריים, ועיבוד זה מתבצע על ידי שימוש בסטטיסטיקה של התהליך, כגון התוחלת או האוטוקורלציה. עיבוד זה יכול להיות למשל שערוך ערך עתידי של התהליך על סמך דגימות העבר. עם זאת, במקרים מעשיים רבים הסטטיסטיקה של התהליך המקרי כלל אינה נתונה, ובמקום זאת נתון רק מדגם יחיד של התהליך. במקרה זה, יש צורך לשערך את הסטטיסטיקות הדרושות מהמדגם הנתון בלבד. תכונת הארגודיות מאפשרת שערוך של לפחות חלק מסטטיסטיקות אלו, ודבר זה אינו נכון באופן כללי עבור תהליך אקראי כלשהו.

משמעות הארגודיות היא, אפוא, היכולת לשערך תכונות סטטיסטיות של תהליך על סמך פונקציה שפועלת על מדגם יחיד שלו, בזמן ארוך מספיק. תהליך מקרי יכול להיות ארגודי במומנטים שונים כפי שמתואר בהמשך.

הגדרה

יהי $X_{\omega }[n]$ תהליך מקרי סטציונרי בזמן בדיד המוגדר בזמנים $n\in \mathbb {N}$. אזי תהליך זה יקרא ארגודי אם לכל פונקציה חסומה $f(\alpha _{1},...\,\alpha _{k})$, לכל מספר פרמטרים $k$, ולכל $\omega$ מתקיים:

$\lim _{N\rightarrow \infty }{\frac {1}{N}}\sum _{i=1}^{N}f(X[i],X[i+1],...,X[i+k])=E[f(X[0],X[1],...,X[k])]$

במקרה זה יש לציין גם את אופי ההתכנסות של השוויון הנ"ל. כלומר, עבור תהליך ארגודי, הממוצע הזמני על פני $k$ דגימות של הפונקציה $f$ הוא התוחלת של אותה הפונקציה – תהליך המתייחס לסטטיסטיקה של התהליך.

ההגדרה הובאה לתהליך מקרי בדיד. ניתן להכלילה גם למקרה של תהליך מקרי רציף.

ארגודיות במומנט ראשון ושני

תהליך יכול להיות ארגודי באופן חלקי; ייתכן כי עבור תהליך מסוים, ניתן יהיה לשערך את תוחלתו ואת פונקציית האוטוקורלציה על ידי דגימותיו, אך לא ניתן יהיה לשערך מומנטים מסדר גבוה יותר. במקרה זה, אומרים שהתהליך האקראי הוא ארגודי במומנט ראשון, במומנט שני, בשניהם, וכן הלאה.

יהי $X_{\omega }[n]$ תהליך אקראי סטציונרי כפי שמוגדר לעיל, ויהי ${\bar {X}}[n]$ הממוצע הזמני של התהליך על פרק זמן $2N+1$:

${\bar {X}}[N]={\frac {1}{2N+1}}\sum _{i=-N}^{N}X[i]$

אזי אם הממוצע הזמני הנ"ל מתכנס לתוחלת התהליך, $E[X[n]]=\mu$ (כאשר התוחלת אינה תלויה בזמן, מפאת היות התהליך סטציונרי), בממוצע ריבועי כאשר $N\rightarrow \infty$, אומרים שהתהליך הוא ארגודי בממוצע ריבועי במומנט ראשון.

באופן דומה ועבור אותו התהליך, תהי ${\bar {R}}_{X}[k]$ פונקציית האוטוקורלציה האמפירית:

${\bar {R}}_{X}[k]={\frac {1}{2N+1}}\sum _{i=-N}^{N}(X[i]-\mu )(X[i+k]-\mu )$

אזי אם פונקציה זו מתכנסת לאוטוקורלציה האמיתית, המוגדרת על ידי הסטטיסטיקה של התהליך: $R_{X}[k]=E[X[n]X[n+k]]$ (שהיא פונקציה של הפרש הזמנים $k$ בלבד, מפאת היות התהליך סטציונרי), לכל $k$ בממוצע ריבועי כאשר $N\rightarrow \infty$, אומרים שהתהליך הוא ארגודי בממוצע ריבועי במומנט שני.

דוגמאות

אינטואיטיבית, משמעות היות התהליך ארגודי היא שדגימותיו בעלות קורלציה נמוכה אחת למשנתה. כך למשל, כדוגמה לתהליך ארגודי במומנט ראשון ניתן לציין תהליך בעל תוחלת 0 שדגימותיו בלתי תלויות ושוות התפלגות. נניח שמדובר בתהליך בו כל דגימה מפולגת ברנולי עם פרמטר $p$. אזי נצפה שלאחר זמן רב $N$, כ־$pN$ דגימות תהיינה בעלות הערך 1 בעוד שהשאר תהיינה בעלות הערך 0. לכן, המיצוע הזמני יהיה דומה לתוחלת.

תהליך אשר דגימותיו נקבעות לפי ערך יחיד, לדוגמה, הוא תהליך לא ארגודי. יהיה $X[n]$ תהליך אקראי השווה למשתנה $M$ המפולג ברנולי בעל פרמטר $p$. כלומר $X[n]=M$ וכל ערכי התהליך זהים. אזי במקרה זה, בעוד שתוחלת התהליך תהא $E[X[n]]=E[M]=p$, מיצוע זמני יניב את אחד משני ערכים – 0 או 1, שכן ערך זה קבוע לכל זמן. במקרה זה, אין שוויון בין הממוצע הזמני לתוחלת והתהליך אינו ארגודי. בנוסף, ניתן לראות כי במקרה זה יש קורלציה גבוהה מאוד בין דגימות התהליך, שכן הן שוות זו לזו.