Nat King Cole se casó con Maria Ellington el 25 de diciembre de 1936 en Chicago, durante el apogeo del primer resurgimiento de su carrera. Estuvieron felizmente casados durante 20 años y adoptaron cinco hijos; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (abril de 1941) y dos niñas, Carol "Cookie" Cole (1944) y Maria Cole (1947). Su hijo Nat Kelly Cole se convirtió en un famoso cantante, compositor y actor.
El 28 de diciembre de 1956, Maria Cole murió inesperadamente de cáncer de pulmón a los 45 años, dejando a Nat profundamente devastado y desconsolado. Fue viudo hasta que se casó con la cantante Maria Hawkins el 8 de julio de 1965. Permanecieron juntos hasta el prematuro fallecimiento de Nat King Cole en 1965.
Controversia de paternidad
En la década de 1990, una mujer llamada Lorna Coles se presentó y afirmó ser la hija de Nat King Cole de una breve aventura que tuvo con su madre en 1947. Las pruebas de ADN confirmaron que Lorna Coles era de hecho la hija biológica de Nat King Cole.