Kroz cijelu pjesmu Selena pjeva o emocionalnoj težini nošenja sjećanja na njihovu prošlost zajedno, zbog čega joj je teško da se u potpunosti otpusti i započne novo poglavlje u svom životu. Žali se zbog činjenice da, iako su fizički razdvojeni, prisutnost bivšeg partnera još uvijek zauzima značajan prostor u njezinim mislima i emocijama, poput upornog duha.
Stihovi zadiru u bol podsjećanja na prošlost, s referencama na "tvoj smijeh" i "riječi koje si govorio", kao i borbu da se pronađe kraj i krene naprijed bez potpunog brisanja sjećanja na vezu. Selenina čežnja za prošlošću je opipljiva dok pjeva o želji da zaboravi i bude slobodna, ali da ipak ne može pobjeći od pritiska koji ta sjećanja drže na njoj.
U konačnici, "Ghost of You" prenosi intenzitet emocionalnog danaka koji prekid veze može uzeti, osobito kada se jedna osoba bori otpustiti i prihvatiti da je veza završila. Pjesma odjekuje kod svakoga tko je iskusio užasne ostatke prošle ljubavi i izazove kretanja putem prema izlječenju i pronalaženju završetka nakon što značajna veza završi.