הוא מונה לחבר קבינט בתפקיד הלורד הראשון של הימייה תחת ראש הממשלה לורד סולסברי בשנת 1885, תפקיד שאותו מילא עד שנת 1886, ואז שוב בין השנים 1886–1892. בשנת 1894 נבחר לשמש יו"ר ועד החינוך של לונדון (London School Board). כאשר לורד סולסברי הקים את הקבינט השלישי שלו בשנת 1895, המילטון מונה כשר לענייני הודו, והוא החזיק בתפקיד זה עד שנת 1903 (בשנה האחרונה תחת בלפור כראש הממשלה).