Terrell nació en Filadelfia, Pensilvania, y comenzó su carrera cuando era adolescente, cantando en varios grupos locales. En 1961, firmó con Motown Records y lanzó su sencillo debut en solitario, "I Can't Believe You Love Me". La canción fue un éxito menor, pero ayudó a Terrell a ganar reconocimiento dentro de la organización Motown.
En 1964, Terrell grabó el dueto "Ain't No Mountain High Enough" con Marvin Gaye. La canción se convirtió en un gran éxito, alcanzando el número uno en la lista Billboard Hot 100 y ganando dos premios Grammy. Terrell y Gaye continuaron colaborando y lanzaron varios duetos más exitosos, incluidos "Your Precious Love", "You're All I Need to Get By" y "If I Could Build My Whole World Around You".
En 1967, a Terrell le diagnosticaron cáncer de cerebro. Se sometió a cirugía y tratamiento, pero el cáncer regresó en 1969. Terrell murió en Filadelfia el 16 de marzo de 1970, a la edad de 24 años.