Tijekom pjesme, Skylar Gray postavlja brojna pitanja, pitajući se bi li određene stvari mogle utjecati na ishod veze. Ova pitanja sežu od pitanja je li češće izgovaranje "Volim te" ili obraćanje više pažnje na potrebe druge osobe moglo spasiti vezu do pitanja je li veza bez obzira na to bila suđena da propadne.
Refren naglašava čežnju da se sazna jesu li ikakvi napori ili promjene mogli spriječiti propast veze:"Bi li to bilo važno? Bi li to nešto promijenilo?" Ponavljajuća priroda ovih pitanja odražava osjećaj zaglavljenosti u krugu sumnje i neizvjesnosti.
Stihovi pjesme također sugeriraju osjećaj nostalgije, uz spominjanje "starih dana" i "izblijedjelih slika". To osnažuje ideju prisjećanja prošlosti i pitanja što je moglo biti drugačije.
U konačnici, "Would It Matter" bilježi emocionalnu tjeskobu i introspekciju koja slijedi nakon romantičnog prekida. Prenosi čežnju za odgovorima i želju za jasnoćom usred zbrke i nemira kraja veze. Pjesma govori o ljudskom iskustvu traženja završetka i razumijevanja nakon značajnog gubitka.