Nema sumnje da je Dickens bio zaluđen Ternanom. Pisao joj je strastvena pisma koja su sadržavala eksplicitne seksualne reference. U jednom je pismu napisao da je žudio "okusiti ta zrela crvena usta... proždrijeti [njeno] raskošno tijelo".
Međutim, opseg njihovog fizičkog odnosa nije poznat. Neki biografi vjeruju da zapravo nikada nisu imali seks, dok drugi vjeruju da jesu.
Jasno je da je ta veza na kraju postala teret za Dickensa. Osjećao se krivim što je prevario suprugu, a brinuo ga je i javni skandal.
Godine 1858. Dickens je okončao aferu i poslao Ternan u inozemstvo u Francusku. Vratila se u Englesku nekoliko godina kasnije, ali nikada više nije vidjela Dickensa.
Sama Ternan nikada nije javno govorila o svojoj vezi s Dickensom. Prema riječima jednog od njezinih rođaka, "odnijela ga je u grob".
Iako se konkretni detalji njihove veze možda nikada neće saznati, nema sumnje da je romansa između Charlesa Dickensa i Ellen Ternan bila značajna i naposljetku tragična.