Dickens je upoznao Ellen Ternan 1857., kada je ona imala samo 18 godina, a on 45. Ternan je bila kazališna glumica, a Dickens je odmah bio opčinjen njome. Započeli su tajnu vezu, koja je trajala nekoliko godina.
Dickens i Ternan bili su jako zaljubljeni, a planirali su se vjenčati nakon što se Dickens razveo od supruge Catherine. Međutim, Dickensova žena odbila mu je dati razvod, tako da on i Ternan nikada nisu mogli otvoreno biti zajedno.
Godine 1865. Dickens i Ternan dobili su zajedničko dijete, sina po imenu Charles. Dickens je bio presretan što će ponovno postati otac i obožavao je svog sina. Međutim, za dijete je saznala njegova supruga koja je pobjesnila. Prijetila je da će aferu razotkriti javnosti, a Dickens je bio prisiljen prekinuti vezu s Ternan.
Dickens i Ternan se više nikada nisu vidjeli nakon 1865. Dickens je umro 1870., a Ternan je živjela do 1914. Nikada se nije udavala i nije imala druge djece.