רמי לוי החל לשחק כדורגל במחלקת הנוער של בני יהודה תל אביב. בגיל 16 ערך את הופעת הבכורה שלו בבוגרים, במשחק חוץ מול הכח רמת גן.[1][2] בהמשך תפס את מקומו בקישור הקבוצה כשחקן הרכב. בעונת 1975–1976 סיים עם קבוצתו במקום ה-17 וירד איתה לליגה הארצית. בעונת 1977–1978 סיים עם קבוצתו במקום הראשון ועלה בחזרה מהארצית ללאומית. עם זאת, באותה עונה הגיע עם בני יהודה לגמר גביע המדינה והפסיד למכבי נתניה.
בעונת 1980–1981 סיים עם בני יהודה במקום השני בליגה וזכה בגביע המדינה. בעונת 1983–1984 הצטרף לקבוצת שמשון תל אביב ושיחק בה עונה אחת וסיים במקום ה-12. בסיומה חזר לבני יהודה (שירדה לליגה הארצית) לעונה אחת והעפיל איתה שוב ללאומית מהמקום הראשון. בעונת 1985–1986 הצטרף למכבי יפו, בה שיחק עונה אחת וסיים במקום ה-12. בסיום העונה חזר לבני יהודה. לוי המשיך בבני יהודה לעוד 3 עונות ובסיומן פרש ממשחק.