Rođen je na otoku Bequia, Saint Vincent, i dobio je kolonijalnu osnovnu školu. Godine 1930. Palmer je dobio stipendiju za pohađanje srednje škole u Londonu. Uz dodatne stipendije, nastavio je studirati medicinu na Sveučilištu u Birminghamu, gdje je diplomirao 1941.
Vratio se u Zapadnu Indiju i radio na Jamajci, Trinidadu i Tobagu i Svetoj Luciji. Godine 1950. Palmer se vratio u Saint Vincent kako bi vježbao. Godine 1954. Palmer je suosnivač Narodne političke stranke (PPP) i izabran je kao zastupnik u Zakonodavno vijeće. Izabran je za glavnog ministra 1967.
Godine 1979. Palmer je doveo Sveti Vincent i Grenadine do neovisnosti od Ujedinjenog Kraljevstva. Kraljica Elizabeta II ga je iste godine proglasila vitezom.
Godine 1984. Palmer se povukao iz politike, a na mjestu premijera naslijedio ga je James Fitz-Allen Mitchell. Preminuo je na svoj 92. rođendan.