Nat King Cole oženio se s Mariom Ellington 25. prosinca 1936. u Chicagu, na vrhuncu svoje prve karijere. Bili su u sretnom braku 20 godina i posvojili petero djece; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (travanj 1941) i dvije djevojke Carol "Cookie" Cole (1944) i Maria Cole (1947). Njihov sin Nat Kelly Cole postao je poznati pjevač, tekstopisac i glumac.
Dana 28. prosinca 1956. Maria Cole neočekivano je umrla od raka pluća u dobi od 45 godina, ostavljajući Nat duboko slomljenu i slomljena srca. Bio je udovac dok se 8. srpnja 1965. nije oženio pjevačicom Mariom Hawkins. Ostali su zajedno sve do prerane smrti Nata Kinga Colea 1965. godine.
Kontroverza o očinstvu
U 1990-ima javila se žena po imenu Lorna Coles, tvrdeći da je kći Nata Kinga Colea iz njegove kratke afere s njezinom majkom 1947. godine. DNK testiranje potvrdilo je da je Lorna Coles doista biološko dijete Nata Kinga Colea.