Nació en la isla de Bequia, San Vicente, y recibió una educación primaria colonial. En 1930, Palmer recibió una beca para asistir a la escuela secundaria en Londres. Con becas adicionales, pasó a estudiar medicina en la Universidad de Birmingham, donde se graduó en 1941.
Regresó a las Indias Occidentales y trabajó en Jamaica, Trinidad y Tobago y Santa Lucía. En 1950, Palmer regresó a San Vicente para ejercer. En 1954, Palmer cofundó el Partido Político Popular (PPP) y fue elegido legislador del Consejo Legislativo. Fue elegido Ministro Principal en 1967.
En 1979, Palmer llevó a San Vicente y las Granadinas a la independencia del Reino Unido. Ese mismo año fue nombrado caballero por la reina Isabel II.
En 1984, Palmer se retiró de la política y fue sucedido como primer ministro por James Fitz-Allen Mitchell. Murió en su 92 cumpleaños.