Stihovi pjesme naglašavaju emocionalni nemir i unutarnji sukob koji muškarac proživljava. Priznaje da još uvijek razmišlja o bivšoj "svaku noć i dan" te da se "ne može a da se ne zapita" misli li i ona na njega. On priznaje da bi trebao nastaviti dalje, ali se ne može to učiniti jer mu je srce još uvijek vezano za nju.
Refren naglašava nesposobnost muškarca da uzvrati ljubav koju mu netko drugi nudi. Pjeva, "Ne mogu ti uzvratiti ljubav, iako se jako trudiš" i "I'm still hold on the ghost of what we had." To sugerira da on nije emocionalno spreman za novu vezu i da je još uvijek izjedan svojim osjećajima prema bivšoj partnerici.
Kroz pjesmu muškarac izražava svoju čežnju za prošlošću i želju da ponovno bude s bivšom. Pjeva, "I wish I could go back and undo all the things we did" i "I wish I could hold you in my arms again." To sugerira da on žali zbog prekida i da se bori prihvatiti stvarnost njihove razdvojenosti.
Sve u svemu, "I Can't Love You Back" je dirljiva pjesma o slomljenom srcu, gubitku i izazovima napuštanja prošle veze. Bilježi emocionalni nemir i ranjivost nekoga tko se još uvijek bori s posljedicama prekida i ne može ponovno pronaći ljubav.