Han spelade 512 matcher i Bundesliga åren 1978–1997. Stein startade sin karriär i Arminia Bielefeld men bytte efter två år klubb till Hamburger SV där han spelade 1980–1987. Sedan spelade han fram till 1994 i Eintracht Frankfurt tills han fick sparken, varpå han kom tillbaka till Hamburger SV. Efter ytterligare ett år i klubben fick han sparken igen och kom tillbaka till klubben där han påbörjade sin proffskarriär, Arminia Bielefeld. 1997 avslutade han sin proffskarriär som fotbollsmålvakt.
Stein var en lysande målvakt, men fick i landslaget stå i skuggan för sin konkurrent Harald Schumacher.
Under 1987, i en match mot Bayern München, gjorde Stein skandal då han oprovocerat gav Bayern-spelaren Jürgen Wegmann en hård smocka i ansiktet. Följden blev att han fick sparken från Hamburger SV.