I ungdomen tillbringade McCarthy ett år i kloster innan han började satsa på politiken. Han blev invald i representanthuset 1948 fram till 1959 och satt i senaten 1959-1971.
Han var stark motståndare till Vietnamkriget. McCarthy ställde upp i presidentvalet 1968 som "fredskandidat". I primärvalet i New Hampshire erhöll han 42 procent av rösterna mot den sittande presidenten Lyndon Johnsons 48 procent. Johnson fann detta så förödmjukande att han drog tillbaka sin kandidatur. McCarthy vann även primärvalen i Wisconsin, Pennsylvania och New York. Dock blev istället Hubert H. Humphrey demokraternas kandidat och denne besegrades sedan i presidentvalet av Richard Nixon. McCarthy försökte på nytt att bli demokraternas presidentkandidat inför valet 1972 men misslyckades. I presidentvalet 1976 ställde han upp som oberoende kandidat men erhöll endast 0,9 % av rösterna. Han försökte en sista gång att bli demokraternas presidentkandidat inför valet 1992 men misslyckades även denna gång.
