Evo što znamo:
* Nema dokaza o sportu: Ne postoje povijesni zapisi da je Madison sudjelovala u organiziranim sportskim ili fizičkim aktivnostima.
* Ograničene slobodne aktivnosti: Madisonin život bio je uglavnom proždiran politikom i intelektualnim zanimanjima. Bio je proždrljiv čitač, oštroumni promatrač vlade i predani student povijesti i filozofije.
* Jahanje: Madison nije bio sport, poznato je da uživa u jahanju, vjerojatno radi prijevoza i rekreacije.
* Vrtlarstvo: Madison se također jako zanimao za poljoprivredu i vrtlarstvo, često upravljajući vlastitim imanjem.
Zaključno, život Jamesa Madisona bio je usmjeren na intelektualne bavljenje i javnu službu, s ograničenim dokazima o bilo kakvim značajnijim sportskim ili rekreacijskim hobijima.