בסיבוב משחקי הידידות שערכה צ'לסי בקיץ בו רכשה את קז'מן, הוא כבש כבר במשחקו הראשון שער נגד הקבוצה הסקוטיתגלאזגו סלטיק. במשחק הגמר בטורניר שבו השתתפה צ'לסי שנערך בארצות הברית, הורחק קז'מן לאחר שפגע באוליביה דאקור, שחקנה הצרפתי של קבוצת איי אס רומא, לאחר שזה פגע בחברו לקבוצה של קז'מן אריין רובן, שעבר יחד עם קז'מן מאיינדהובן לצ'לסי. התאחדות הכדורגל האנגלית לא הענישה את קז'מן למרות הרחקתו ואיפשרה לו לשחק כרגיל עם פתיחת משחקי הליגה האנגלית.
קז'מן לא הרשים בפרמייר ליג. בעונתו הראשונה בצ'לסי כבש רק 4 שערים בכל המסגרות, אולם רוב הופעותיו היו כאשר עלה מן הספסל, וככל הנראה לא קיבל הזדמנות של ממש לקנות לעצמו מקום בהרכב. בקיץ 2005 עזב קז'מן את צ'לסי ועבר לשחק בספרד, בקבוצת אתלטיקו מדריד תמורת 5,300,000 לירות שטרלינג.
במוקדמות מונדיאל 2006 הבקיע קז'מן חמישה שערים, יותר מכל שחקן אחר של נבחרת סרביה ומונטנגרו. אחד משעריו היה שער הניצחון על בוסניה-הרצגובינה שהעלה את הסרבים למונדיאל ישירות מהמקום הראשון בבית.
