Whelan köptes till Liverpool av Bob Paisley som artonåring i oktober 1979 och kom att spela i klubben till 1994.[1] Under sina 15 år i klubben spelade han totalt 443 matcher, gjorde 73 mål och vann sex ligatitlar, tre FA-cuptitlar, en Europacuptitel och tre ligacuptitlar.[1] Whelan lämnade Liverpool för Southend United 1994 och spelade där till 1996 då han slutade som spelare. När Liverpools officiella hemsida med hjälp av klubbens supportrar 2006 sammanställde listan "100 Players Who Shook The Kop", en lista över de 100 spelare som gjort störst avtryck på supportrarna, hamnade Whelan på plats 30.[2]
Efter spelarkarriären var han tränare i bland annat Southend United, Olympiakos Nicosia och Apollon Limassol. Hans senaste tränarjobb, i Apollon Limassol, avslutade han 2002.