Iako je njegova obitelj generacijama bila u Americi, u konačnici su bili engleskog podrijetla. Njegov otac, Joseph Allen, rođen je u Connecticutu, ali njegov je djed došao u Ameriku iz Engleske.
Dok su Allenova obitelj i život bili duboko vezani za američke kolonije, njegovo podrijetlo ostaje čvrsto ukorijenjeno u Engleskoj.