ויליאמס נולד ב-17 במאי1904 בחווה ליד פרנקפורד, מחוז סאסקס, דלאוור, והיה התשיעי מתוך אחד עשר ילדים. בשנת 1922, הוא עבר למילסבורו, שם הקים יחד עם אחיו פרסטון את חברת מילסבורו פיד, עסק להזנת בעלי חיים ועופות. ג'ון ויליאמס התחתן עם אלסי סטיל ב-1924; הם נשארו נשואים עד מותו 64 שנים מאוחר יותר. ב-1946 כיהן במועצת העיר מילסבורו.
בסנאט, ויליאמס ביסס את עצמו כמתנגד לבירוקרטיה ממשלתית בזבזנית. בתור חסיד של שווקים חופשיים, הוא התנגד להמשך מדיניותו של הנשיא טרומן למדיניות הניו דיל ומלחמת העולם השנייה. ויליאמס תמך בהורדת מיסים, התנגד להמשך בקרת המחירים, והציע שניתן יהיה לאזן את התקציב הפדרלי על ידי קיצוץ מיליון משרות פדרליות שלדעתו מיותרות לאחר השפל הגדול ומלחמת העולם השנייה.
מ-1947 עד 1948, ויליאמס פעל להכחדת שחיתות ברשות המיסים, וחשף את הפעילויות הבלתי חוקיות של מאתיים עובדים במשרד האוצר. באוקטובר 1963, בתקופה שבה הנשיא קנדי הרהר בעתידו של סגן הנשיא שלו, לינדון ג'ונסון, ויליאמס חשף שחיתות בלשכתו של עוזר הסנאט האמריקני בובי בייקר, בן חסותו של ג'ונסון. ויליאמס לא חתם על המניפסט הדרומי של 1956,[1] והצביע בעד חוקי זכויות האזרח של 1957,[2][3] 1960,[4] ו-1964,[5] וכן על התיקון ה-24 לחוקת ארצות הברית,[6]חוק זכויות ההצבעה משנת 1965,[7][8] ואישורו של ת'ורגוד מרשל לבית המשפט העליון של ארצות הברית,[9] אך הצביע נגד חוק זכויות האזרח משנת 1968.[10] ויליאמס היה ההצבעה ה-67 המובהקת בעד סיום הפיליבסטר של חוק זכויות האזרח משנת 1964, מה שהוביל את מייק מנספילד להכריז על "זהו זה!".[11] ב-1967, ויליאמס עזר להביס את ההצעה לשינוי הכלל שהיה מחסל את הפיליבסטר, כלי שהועיל לו מאוד בחשיפת פסולת ממשלתית והתנהלות לא נכונה. בשנת 1968, ללא יכולת להביס את העלאת המס שהציע הנשיא ג'ונסון, ויליאמס עבד עם הסנאטור האמריקני הדמוקרטי ג'ורג' סמאטרס מפלורידה כדי לקצץ בו זמנית בהוצאות הפדרליות ב-60 מיליארד דולר.
ויליאמס, כמו גם עמיתו בסנאט פרסקוט בוש מקונטיקט, נחשבו כשותפים אפשריים למועמד הרפובליקני לנשיאות דודווייט ד. אייזנהאואר-1952, אך הוציא את עצמו מהשיקול. הוא גם נחשב למועמד למרות מטעם הרפובליקנים ב-1964 וכמחליף אפשרי של ספירו אגניו כאשר התפטר כסגן נשיא ארצות הברית ב-1973. ויליאמס היה נציג בוועידות הלאומיות הרפובליקניות בשנים 1948 ו-1956.
ב-1965 החל ויליאמס ללחוץ על חוק שיקבע גיל פרישה חובה של 65 לכל נבחרי הציבור. אף על פי שפרישת חובה מעולם לא חוקקה, ויליאמס הכריז ב-1969 שהוא לא יבקש כהונה חמישית בסנאט האמריקני. ב-31 בדצמבר1970, הוא התפטר מהסנאט ממש לפני תום כהונתו, מה שאפשר לבן טיפוחיו, הרפובליקני הטרי, ויליאם רות', לקבל ותק נוסף במעמד החדש שלו של סנאטורים אמריקאים.
בספטמבר 1966, ויליאמס תקף את התוכנית נגד האינפלציה של ממשל ג'ונסון כ"גישה חלקית" לנושא גדול יותר ותמך בהעלאת מס של חמישה אחוזים, כמו גם בקונגרס לחידוש תפקיד מנהיגותי בנושא חקיקת "תרופות הכרחיות כדי למנוע קריסה פיננסית שעלולה לבלוע אותנו".[12]
ויליאמס מת ב-11 בינואר1988 בבית חולים בלוז, דלאוור ונקבר בבית הקברות מילסבורו, במילסבורו. הוא היה חבר בכנסייה המתודיסטית, הבונים החופשיים והשרינרים. במהלך הקריירה שלו בסנאט האמריקני, ויליאמס כונה "חוקר הזאב הבודד", "כלב השמירה של משרד האוצר", "ג'ון הישר", "מר יושרה", ולרוב, "המצפון של הסנאט". הקטע של כביש 24 של דלאוור בין מילסבורו למידוויי נקרא לכבודו הכביש המהיר של ג'ון ג'יי ויליאמס.