קלייבורן היה חבר בבית הנציגים של המדינה (1783–1788), שימש כקולונל בפיקוד על המיליציה של מחוז ברונסוויק ב-1789, שריף של מחוז ברונסוויק (1789–1792), וחבר בסנאט של המדינה (1790–1792). הוא נבחר לקונגרס השלישי ונבחר מחדש כדמוקרטי-רפובליקני לקונגרסים הרביעי והחמישי. ניסיונו להיבחר מחדש ב-1798 לא צלח, אך הוא נבחר שוב כדמוקרטי-רפובליקני לקונגרסים השביעי והשמיני. הוא מת באחוזתו במחוז ברונסוויק ב-1812.