Castagne je započeo svoju karijeru u Virtonu, gdje je debitirao 1995. godine. Godine 1997. preselio se u Anderlecht, gdje je osvojio tri naslova belgijskog prvaka i dva belgijska kupa. Godine 2004. pridružio se Milanu, gdje je osvojio naslov Serie A 2004. i UEFA Ligu prvaka 2007.
Castagne je debitirao za reprezentaciju Belgije 1999. Upisao je 54 nastupa za svoju zemlju, postigavši četiri gola. Predstavljao je Belgiju na FIFA Svjetskom prvenstvu 2002. i UEFA Europskom prvenstvu 2000.
Nakon povlačenja iz nogometa 2008., Castagne je radio kao stručnjak za belgijsku televiziju i radio. Također je uspješan poslovni čovjek, osnovao je nekoliko tvrtki.
Godine 2021. Castagne je primljen u belgijsku nogometnu Kuću slavnih.