בהשפעתו עבר הרב שוורץ לישיבת מרכז הרב על מנת ללמוד אצל הרצי"ה עצמו, ובה למד שנים רבות ונעשה לתלמידם של הרצי"ה והרב שפירא.[2] בהוראת רבו הרצי"ה העביר במשך כמה שנים שיעורים בספר הכוזרי במכון מאיר. קיבל הצעה לעבור לישיבת קדומים וללמד שם, אך לאחר התלבטות ארוכה סירב, בעידוד הרצי"ה.
במהלך שנות השבעים השתתף בעליות של גוש אמונים לנקודות שונות ביהודה ושומרון. סיפר שעלה עם קבוצה מתלמידי הישיבה לשילה, אף על פי שקודם נעצרו בדרכם והוחזרו לישיבה. בשילה התלמידים קשרו עצמם בשרשראות כדי להקשות על החיילים לפנותם, ופונו על ידיהם בכח. לאחר המעשה שאל את רבו הרצי"ה: "האם כך צריך לעשות? להיאבק עם הצבא?" והרצי"ה השיב: כך צריך לעשות![3].
בתקופת הפילוג בישיבת מרכז הרב, תמך ברב אברהם שפירא לראשות הישיבה, והתנגד לעמדת רבני הר המור שהתפלגו. בשיעור שהעביר התבטא "שר' אברום הצניע את עצמו מאוד מאוד, כל זמן שמורנו ורבנו מרן הרב צבי יהודה הכהן קוק זצ"ל היה חי"[4], ורק מפני צניעותו וענוותנותו של הרב שפירא יכלו גם לצאת נגדו.
בספרו כתב שאחד הרבנים מהמגזר הדתי לאומי סיפר לו שכשהיה אצל הרב אהרון לייב שטיינמן הרב שטיינמן אמר לו איך זה שאצלכם יש אנשים שחולקים על רב אברום אם הוא היה במגזר שלנו ומישהו היה חולק עליו היו סוקלים אותו באבנים![5]
הרב שורץ בנטיעת עצים בארץ ישראלמתוך התורה הגואלת – סדרת ספרים ובהם סיכומי שיעורים של הרב צבי יהודה קוק, מסודרים לפי נושאים. יצאה לראשונה בשנים תשמ"ג-תשנ"א בארבעה כרכים, ובין השנים תשע"ג-תשע"ח יצאה במהדורה חדשה בשלושה כרכים, בתוספת מקורות והערות.
לנתיבות התורה הגואלת – חוברת הדרכה לבניין האישיות ודרכי לימוד תורה, מפי הרב צבי יהודה קוק, יצאה לאור בארבע מהדורות, החדשה בהוצאת מכון מים חיים.
בדרך התורה הגואלת – ספר על תולדות חייו והנהגותיו של הרב צבי יהודה קוק.
מעמק אברהם ובאוהל אברהם – תולדות הרב אברהם אלקנה כהנא שפירא וסיכומי שיעורים כלליים שהעביר.
וקראתם דרור בארץ – ספר על חייו והנהגותיו של הצדיק הנסתר הרב יוסף דרורי מטבריה.
אור הכוזרי – ביאור מאמר ראשון בספר הכוזרי לריה"ל. מהדורה חדשה וכרך נוסף על מאמר שני יצאו לאור בשנת התשפ"ה.
חיים אביהוא בן דוד יוסף שורץ, דף שער בספרייה הלאומית