Under OS i Aten 2004 var Ferns med och vann en guldmedalj på lagkappen över 4 x 100 meter frisim på världsrekordtiden 3:13.17. Guldmedaljen var Sydafrikas enda under 2004 års Olympiska sommarspel. Roland Schoeman gav Sydafrika ledningen på första sträckan med en tid på 48.17. Ferns simmade andra sträckan på 48.13 och höll undan för bland annat USA:s Michael Phelps. Darian Townsend på tredje sträckan och Ryk Neethling på slutsträckan förvaltade sedan försprånget ända in i mål.
I april 2011 meddelade Ferns att hans karriär som tävlingssimmare var över.[2]
