בתחילת שנות התשעים החל בתהליך של חזרה בתשובה, במהלכו שינה את שמו מגלעד קרדוניס ליוסף קרדונר, כשם משפחתו של רבי ישראל קרדונר, שהיה מורו של רבי ישראל דב אודסר. בריאיון עמו סיפר כי שיר חסידי ששמע באקראי (השיר ידיד נפש של הזמר החסידי אברהם פריד) השפיע עליו עמוקות בתהליך התשובה.
קרדונר למד בישיבת ברסלב לבעלי תשובה במגדיאל, ולאחר מכן אצל הרב שמעון ויזנפלד שהפך לרבו. לאחר הפסקה של כחצי שנה בעבודתו המוזיקלית, כשהיה בהתבודדות בפרדס כמנהג חסידות ברסלב, התנגן בראשו הלחן של "שיר למעלות" (פרק קכ"א בתהלים), וכששב לביתו מיהר לרשום את מנגינת השיר בתווים על מנת לזכור אותו. בעקבות אירוע זה קרדונר ביקש לשוב ולעסוק במוזיקה, והוא עשה זאת לאחר שקיבל את ברכתו של הרב ויזנפלד.[1] קרדונר הוסיף ליצור מוזיקה כבעל תשובה, למילים מהמקורות ומכתבי חסידות ברסלב (לרוב קטעים מליקוטי מוהר"ן).
אלבומיו הראשונים של קרדונר הופיעו באמצע שנות התשעים. קרדונר היה לאחד מחלוצי המוזיקה היהודית המקורית (במקביל ליוצרים כעדי רן), שהתפתחה אז בעיקר הודות לחדירתם של חוזרים בתשובה ברסלביים לתעשייה המקומית. להבדיל מן המוזיקה החסידית המיינסטרימית שפעלה בתקופה זו, המוזיקה היהודית התאפיינה בשירה בעברית צברית נטולת-מבטא יידי, בתזמור אקוסטי ומינימלי יחסית ובפנייה אל קהל-יעד רחב יותר, מעבר לגבולות המגזר החרדי ואף הדתי לאומי. עבודותיו של קרדונר תרמו להרחבת הרפרטואר המוזיקלי היהודי ופתחו פתח להופעתן של להקות כגון "המדרגות" ו"בין השמשות", וכן להתפתחות הטרנד היהודי בקרב מוזיקאים רבים בעשור הראשון של המאה ה-21 – חילוניים, דתיים ובעלי תשובה.[2]
המוזיקה של קרדונר מאופיינת בפשטות מלודית ובחזרות רבות, ובכך היא ממשיכה במובן מסוים את הקו המלודי של רבי שלמה קרליבך, אולם עם זאת היא נחשבת למורכבת בהרמוניות ובמקצבים שלה, והיא מטמיעה בתוכה השפעות רבות ומגוונות: החל מרוק רך ורוקנרול וכלה בג'אז ובמוזיקה לטינית.
קרדונר התפרסם בעיקר בזכות לחנו לתהילים קכ"א ("שיר למעלות"). השיר זכה במרוצת השנים לכמה וכמה ביצועים, על ידי יוצרים מפורסמים, ובהם נינט טייב, זהבה בן ומוש בן ארי. על כך אמר קרדונר בריאיון לעיתון "בשבע":
פעם כאב לי שעשו את זה, כי רציתי שהשיר יישאר בתמימות ולא יערבבו איתו עוד שירים, דתות אחרות או בנות. אבל אנשים לקחו את השיר בלי רשות, הקליטו ושרו. ניסיתי לעצור את זה ולא הצלחתי, מרוב שאהבו את השיר הזה, לקחו אותו. היום זה כבר לא מפריע לי, זה הגיע לכלל ישראל. אנשים אומרים לי: 'אני לא מתפלל, השיר הזה הוא התפילה שלי'. אני רואה את זה כמתנת שמיים מאוד גדולה