Terrell je rođena u Philadelphiji, Pennsylvania, a karijeru je započela kao tinejdžerica, pjevajući u raznim lokalnim grupama. Godine 1961. potpisala je ugovor s Motown Recordsom i izdala svoj debitantski solo singl, "I Can't Believe You Love Me". Pjesma je bila manji hit, ali je pomogla Terrellu da dobije priznanje unutar organizacije Motown.
Godine 1964. Terrell je s Marvinom Gayeom snimio duet "Ain't No Mountain High Enough". Pjesma je postala veliki hit, dostigavši broj jedan na Billboard Hot 100 ljestvici i osvojivši dvije nagrade Grammy. Terrell i Gaye nastavili su surađivati te su objavili još nekoliko uspješnih dueta, uključujući "Your Precious Love", "You're All I Need to Get By" i "If I Could Build My Whole World Around You".
Godine 1967. Terrellu je dijagnosticiran rak mozga. Bila je podvrgnuta operaciji i liječenju, no rak se vratio 1969. Terrell je umrla u Philadelphiji 16. ožujka 1970. u dobi od 24 godine.