Castagne comenzó su carrera en Virton, donde hizo su debut profesional en 1995. En 1997, se mudó a Anderlecht, donde ganó tres títulos de la Pro League belga y dos Copas de Bélgica. En 2004 fichó por el Milán, donde ganó el título de la Serie A en 2004 y la Liga de Campeones de la UEFA en 2007.
Castagne hizo su debut internacional con Bélgica en 1999. Luego jugó 54 partidos con su país y marcó cuatro goles. Representó a Bélgica en la Copa Mundial de la FIFA de 2002 y en el Campeonato de Europa de la UEFA de 2000.
Tras retirarse del fútbol en 2008, Castagne trabajó como experto para la radio y la televisión belgas. También es un exitoso hombre de negocios y ha fundado varias empresas.
En 2021, Castagne fue incluido en el Salón de la Fama del fútbol belga.